Для того, чтобы исключить посещение сервера или его частей роботом необходимо создать на сервере файл, содержащий информацию для управления поведением поискового робота. Этот файл должен быть доступен по протоколу HTTP по локальному URL /robots.txt.

      Такое решение было принято для того, чтобы поисковый робот мог найти правила, описывающие требуемые от него действия, всего лишь простым запросом одного файла. Кроме того файл /robots.txt легко создать на любом из существующих Веб-серверов.

      Выбор именно такого URL мотивирован несколькими критериями:

• Имя файла должно было быть одинаковым для любой операционной системы
• Расширение для этого файла не должно было требовать какой-либо переконфигурации сервера
• Имя файла должно было быть легко запоминающимся и отражать его назначение
• Вероятность совпадения с существующими файлами должна была быть минимальной