| Что хотел
спросить web-мастер про robots.txt, да стеснялся спросить. |
|
|
|
Пример 1:
| # robots.txt
for http://www.site.com
User-Agent: *
Disallow: /cyberworld/map/ # this
is an infinite virtual URL space
Disallow: /tmp/ # these will soon
disappear
|
В примере 1 закрывается от индексации
содержимое директорий /cyberworld/map/ и /tmp/.
Пример 2:
| # robots.txt
for http://www.site.com
User-Agent: *
Disallow: /cyberworld/map/ # this
is an infinite virtual URL space
# Cybermapper knows where to go
User-Agent: cybermapper
Disallow:
|
В примере 2 закрывается от индексации
содержимое директории /cyberworld/map/, однако поисковому
роботу cybermapper все разрешено.
Пример 3:
| #
robots.txt for http://www.site.com
User-Agent: *
Disallow: /
|
В примере 3 любому поисковому роботу
запрещается индексировать сервер.
Примечаеие:
В настоящее время стандарт несколько изменился,
например, можно записывать в строке User-Agent несколько имен
роботов, разделенных пробелами или табуляторами.
|
|
|
