Пошуковий бот (робот)

- Спеціальна програма, яка індексує сайти.

Каждая поисковая система имеет свой набор ботов, каждый из которых отличается друг от друга по своему функциональному назначению. У каждой системы есть бот для текстов. Кроме того в некоторых поисковых системах имеется определенный набор роботов для изображений, видео, а также мобильного, новостного и блогового контента.

Роботы поисковой системы Google

Все боты в поисковой системе Google имеют общее название Googlebot. В зависимости от вида контента Googlebot бывают следующих видов:

1. Googlebot News — робот для быстрой индексации новостных порталов;

2. Googlebot Images — робот для быстрой индексации изображений;

3. Googlebot Video — бот для быстрой индексации изображений;

4. Google Mobile — робот для индексации мобильного контента;

5. Google Mobile AdSense и Google AdSense — роботы для быстрой индексации рекламных блоков;

6. Google AdsBot — робот для проверки качества целевой страницы сайта.

Роботи пошукової системи Яндекс

Yandex bot - це робот, який займається індексацією веб-сторінок сайту та їх збереженням у пошуковій базі Яндекса. Після індексації кожній веб-сторінці сайту надається ТІЦ (тематичний індекс цитування).

Пошукова система Яндекс містить найбільшу кількість ботів, серед яких можна виділити:

1. Mozilla/5.0 (compatible; YandexBot/3.0; +yandex.com/bots) — головний індексуючий бот;

2. Mozilla/5.0 (compatible; YandexImages/3.0; +yandex.com/bots) — робот для індексації картинок;

3. Mozilla/5.0 (compatible; YandexVideo/3.0; +yandex.com/bots) — робот для швидкої індексації відео;

4. Mozilla/5.0 (compatible; YandexMedia/3.0; +yandex.com/bots) — робот для індексації мультимедійних даних;

5. Mozilla/5.0 (compatible; YandexBlogs/0.99; robot; +yandex.com/bots) — робот для індексації постів та коментарів на блогах;

6. Mozilla/5.0 (compatible; YandexFavicons/1.0; +yandex.com/bots)— робот для індексації піктограм(favicons) сайтів;

7. Mozilla/5.0 (compatible; YandexWebmaster/2.0; +yandex.com/bots)— робот сервісу Яндекс.Вебмайстер;

8. Mozilla/5.0 (compatible; YandexImageResizer/2.0; +yandex.com/bots) — робот для індексації мобільних сервісів;

9. Mozilla/5.0 (compatible; YandexAdNet/1.0; +http://yandex.com/bots) — робот для індексації реклами в пошуковій системі Яндекс;

10. Mozilla/5.0 (compatible; YandexMetrika/2.0; +yandex.com/bots) — бот Яндекс.Метрики;

11. Mozilla/5.0 (compatible; YandexNews/3.0; +yandex.com/bots) — бот для індексації порталів новин;

Робот Рамблера

Пошуковий робот Рамблера називається StackRambler/2.0 (MSIE incompatible). Цей бот не вказує список медіатипів, не містить поля Accept-Language та If-Modified-since.

Роботи Yahoo!

Пошукова система Yahoo! має такі роботи:

1. Mozilla/5.0 (compatible; Yahoo! Slurp; help.yahoo.com) — основний пошуковий бот Yahoo!

2. Yahoo-MMCrawler/3.x — робот для індексації зображень;

3. Yahoo-Blogs/v3.9 (compatible; Mozilla 4.0; MSIE 5.5; help.yahoo.com ) — робот для індексації постів та коментарів блогу.

Роботи MSN

Пошукова система MSN містить набір наступних роботів:

1. msnbot/1.1 (+msnbot) — головний пошуковий робот MSN

2. msnbot-media/1.1 (+msnbot) — робот для індексації мультимедійних файлів

3. msnbot-news (+msnbot) — робот для індексації порталів новин

4. msnbot-NewsBlogs/1.0 (+msnbot) — бот для індексації блогів

5. msnbot-Products/1.0 (+msnbot) — робот для індексації товарів та шопінгу