Опишите ваш проект
Наши специалисты свяжутся с вами в ближайшее время
Отправив запрос вы получаете:
  • Письмо или звонок от нашего менеджера
  • Оценку своего проекта
  • Личную встречу, при необходимости
  • Конфиденциальность гарантирована!
Ваш менеджер
Маргарита Кулешова
С удовольствием ответим на все ваши вопросы
Мобильный
Задать вопрос
Назад в глоссарий

Robots.txt

— содержащий информацию и предписания для робота-поисковика, то есть «директивы», файл.

Для чего нужен robots.txt? Это файл, располагающийся в корневой директории сайта, в котором прописаны специальные указания (они называются директивами) для роботов-поисковиков. Именно к нему в первую очередь обращается робот при заходе на веб-ресурс.

Для чего прописываются директивы? Они могут запрещать к индексации определенные разделы сайта, указывают требуемое зеркало и так далее. Следует помнить, что этот файл носит рекомендательный характер.

Простейший роботс — это пустой текстовый файл, который следует загрузить в корневую директорию.

Основные дерективы robots.txt — это:

  • User agent — здесь указываются роботы поисковых систем. Необходимо отметить, что значение * - означает все роботы, а для Яндекса желательно прописывать указания отдельно
  • Disallow — запрещает к индексации определенные разделы или страницы сайта
  • Allow — используется в случае, когда нужно разрешить индексацию определенных разделов или страниц сайта
  • Host — формируется из главного зеркала Вашего сайта
  • Sitemap — формируется из адреса sitemap.xml

Простейший robots.txt выглядит следующим образом:

User-agent: *

Disallow:

User-agent: Yandex

Disallow:

Sitemap: http://example.com/sitemap.xml

host: example.com

Более подробная информация о robots.txt — здесь.

Связные термины