Спасибо!

Запрос на оценку стоимости успешно отправлен.
Наши менеджеры свяжутся с вами в ближайшее время.

Вы также можете почитать наш блог или скачать белую книгу.

Будьте с нами!

Наталья Бринза менеджер проектов

У вас есть бизнес-задача?

У нас есть решение.

Получите консультацию уже сейчас!

Напишите нам

задать вопрос
Введите ваше имя
Введите контакт
Введите сообщение
Наталья Бринза менеджер проектов

Здесь вы найдете работающие приемы повышения эффективности вашего бизнеса в сети.
Скачивайте, читайте и обязательно внедряйте на практике!

Robots.txt

— содержащий информацию и предписания для робота-поисковика, то есть «директивы», файл.

Для чего нужен robots.txt? Это файл, располагающийся в корневой директории сайта, в котором прописаны специальные указания (они называются директивами) для роботов-поисковиков. Именно к нему в первую очередь обращается робот при заходе на веб-ресурс.

Для чего прописываются директивы? Они могут запрещать к индексации определенные разделы сайта, указывают требуемое зеркало и так далее. Следует помнить, что этот файл носит рекомендательный характер.

Простейший роботс — это пустой текстовый файл, который следует загрузить в корневую директорию.

Основные дерективы robots.txt — это:

  • User agent — здесь указываются роботы поисковых систем. Необходимо отметить, что значение * - означает все роботы, а для Яндекса желательно прописывать указания отдельно
  • Disallow — запрещает к индексации определенные разделы или страницы сайта
  • Allow — используется в случае, когда нужно разрешить индексацию определенных разделов или страниц сайта
  • Host — формируется из главного зеркала Вашего сайта
  • Sitemap — формируется из адреса sitemap.xml

Простейший robots.txt выглядит следующим образом:

User-agent: *

Disallow:

User-agent: Yandex

Disallow:

Sitemap: http://example.com/sitemap.xml

host: example.com

Более подробная информация о robots.txt — здесь.

Олег Яручик Олег Яручик SEO-специалист

Интересуетесь вопросами развития своего бизнеса в сети?

У нас вы получите все ответы!