Що таке Robots.txt?

— Файл, що містить інформацію та приписи для робота-пошуковика, тобто "директиви", файл.

Для чого потрібний robots.txt? Це файл, який знаходиться в кореневій директорії сайту, в якому прописані спеціальні вказівки (вони називаються директивами) для роботів-пошуковиків. Саме до нього насамперед звертається робот під час заходу на веб-ресурс.

Для чого прописуються директиви? Вони можуть забороняти до індексації певні розділи сайту, вказують необхідне дзеркало тощо. Слід пам'ятати, що цей файл має рекомендаційний характер.

Найпростіший робот — це порожній текстовий файл, який слід завантажити до кореневої директорії.

Основні дерективи robots.txt — це:

• User agent — тут зазначаються роботи пошукових систем. Необхідно відзначити, що значення * означає всі роботи, а для Яндекса бажано прописувати вказівки окремо
• Disallow — забороняє до індексації певні розділи чи сторінки сайту
• Allow — використовується у випадку, коли потрібно дозволити індексацію певних розділів або сторінок сайту
• Host — формується із головного дзеркала Вашого сайту
• Sitemap — формується із адреси sitemap.xml

Найпростіший robots.txt виглядає так:

User-agent: *

Disallow:

User-agent: Yandex

Disallow:

Sitemap: http://example.com/sitemap.xml

host: example.com

Детальніша інформація про robots.txt — тут.