Что такое robots.txt и для чего он нужен

Файл robots.txt размещается в корневой директории сайта и описывает исключениядля поисковых ботов. Придерживающийся стандартов бот проверяет сначала url»/robots.txt», если файл существует, то бот анализирует его содержимое напредмет наличия запретов к посещению определённых частей сайта. Имя файла недолжно содержать заглавных букв. Записи в файле разделяются одной илинесколькими пустыми строками. Комментарии в файле robots.txt начинаются знаком”#” и заканчиваются окончанием строки (строки, содержащие только комментарииигнорируются ботами и не являются разделителями записей).

User-agent

Имя бота, к которому применяются правила исключений насайте. Можно прописать несколько строк с User-agent, в этом случае правила,описанные в данной записи будут применяться указанными ботами. Для описыванияправил ботам, для которых отдельная запись не составлена применяют следующийпараметр: «*» (в файле robots.txt может быть только одна запись User-agent:*).

Disallow

В данном поле прописывается полный или частичный путьк месту на сайте, посещение которого запрещено для бота. В каждой записи должноприсутствовать как минимум одно поле Disallow. Пустое поле Disallowподразумевает разрешение боту посещать все директории и файлы сайта. Недопускается использование в данном поле регулярных выражений и символовподстановки.

Некоторыепоисковые системы поддерживают дополнительные поля в файле robots.txt.

Что не следует указывать в файле robots.txt

— папки с административными файлами
-файлы, о которых посторонним вообще знать не стоит
Прописывание путей кданным частям сайта может породить нездоровый интерес и попытки совершениязловредных действий, рады которым Вы уж точно не будете. К тому же есть иальтернативные способы запрета посещения и индексации ботамистраниц.

Стоит запретить к индексации:

— документы «дляпечати»
— папки со скриптами
— папки с картинками (если у Вас непредвидится целевой аудитории с поиска по картинкам)
— сервисные страницы,такие как, например, страница с формой отправки письма администрации, схемапроезда

Ошибки, допускаемые при составлении robots.tx

Как не надоделать:
Имя файла содержит заглавные буквы – Robots.txt илиROBOTS.TXT
Файл robots.txt размещается не в корневой директории
Пустаястрока после поля User-agent
Отсутствие директивы Disallow
Использованиев поле Disallow символов подстановки или регулярных выражений, например: «?»,»*»
Больше одной строки «Disallow: *»