Что такое Robots.txt?

— содержащий информацию и предписания для робота-поисковика, то есть «директивы», файл.

Для чего нужен robots.txt? Это файл, располагающийся в корневой директории сайта, в котором прописаны специальные указания (они называются директивами) для роботов-поисковиков. Именно к нему в первую очередь обращается робот при заходе на веб-ресурс.

Для чего прописываются директивы? Они могут запрещать к индексации определенные разделы сайта, указывают требуемое зеркало и так далее. Следует помнить, что этот файл носит рекомендательный характер.

Простейший роботс — это пустой текстовый файл, который следует загрузить в корневую директорию.

Основные дерективы robots.txt — это:

• User agent — здесь указываются роботы поисковых систем. Необходимо отметить, что значение * - означает все роботы, а для Яндекса желательно прописывать указания отдельно
• Disallow — запрещает к индексации определенные разделы или страницы сайта
• Allow — используется в случае, когда нужно разрешить индексацию определенных разделов или страниц сайта
• Host — формируется из главного зеркала Вашего сайта
• Sitemap — формируется из адреса sitemap.xml

Простейший robots.txt выглядит следующим образом:

User-agent: *

Disallow:

User-agent: Yandex

Disallow:

Sitemap: http://example.com/sitemap.xml

host: example.com

Более подробная информация о robots.txt — здесь.