Поисковый бот (робот)

— специальная программа, которая индексирует сайты.

Каждая поисковая система имеет свой набор ботов, каждый из которых отличается друг от друга по своему функциональному назначению. У каждой системы есть бот для текстов. Кроме того в некоторых поисковых системах имеется определенный набор роботов для изображений, видео, а также мобильного, новостного и блогового контента.

Роботы поисковой системы Google

Все боты в поисковой системе Google имеют общее название Googlebot. В зависимости от вида контента Googlebot бывают следующих видов:

1. Googlebot News — робот для быстрой индексации новостных порталов;

2. Googlebot Images — робот для быстрой индексации изображений;

3. Googlebot Video — бот для быстрой индексации изображений;

4. Google Mobile — робот для индексации мобильного контента;

5. Google Mobile AdSense и Google AdSense — роботы для быстрой индексации рекламных блоков;

6. Google AdsBot — робот для проверки качества целевой страницы сайта.

Роботы поисковой системы Яндекс

Yandex bot - это робот, которвый занимается индексацией веб-страниц сайта и их сохранением в поисковой базе Яндекса. После индексации каждой веб-странице сайта присваивается ТИЦ(тематический индекс цитирования).

Поисковая система Яндекс содержит самое большое количество ботов, среди которых можно выделить:

1. Mozilla/5.0 (compatible; YandexBot/3.0; +yandex.com/bots) — главный индексирующий бот;

2. Mozilla/5.0 (compatible; YandexImages/3.0; +yandex.com/bots) — робот для индексации картинок;

3. Mozilla/5.0 (compatible; YandexVideo/3.0; +yandex.com/bots) — робот для быстрой индексации видео;

4. Mozilla/5.0 (compatible; YandexMedia/3.0; +yandex.com/bots) — робот для индексации мультимедийных данных;

5. Mozilla/5.0 (compatible; YandexBlogs/0.99; robot; +yandex.com/bots) — робот для индексации постов и комментариев на блогах;

6. Mozilla/5.0 (compatible; YandexFavicons/1.0; +yandex.com/bots)— робот для индексации пиктограмм(favicons) сайтов ;

7. Mozilla/5.0 (compatible; YandexWebmaster/2.0; +yandex.com/bots)— робот сервиса Яндекс.Вебмастер;

8. Mozilla/5.0 (compatible; YandexImageResizer/2.0; +yandex.com/bots) — робот для индексации мобильных сервисов;

9. Mozilla/5.0 (compatible; YandexAdNet/1.0; +http://yandex.com/bots) — робот для индексации рекламы в поисковой системе Яндекс;

10. Mozilla/5.0 (compatible; YandexMetrika/2.0; +yandex.com/bots) — бот Яндекс.Метрики;

11. Mozilla/5.0 (compatible; YandexNews/3.0; +yandex.com/bots) — бот для индексации новостных порталов;

Робот Рамблера

Поисковый робот Рамблера называется StackRambler/2.0 (MSIE incompatible). Данный бот не указывает список медиатипов, не содержит поля Accept-Language и If-Modified-since.

Роботы Yahoo!

Поисковая система Yahoo! имеет следующие роботы:

1. Mozilla/5.0 (compatible; Yahoo! Slurp; help.yahoo.com) — основной поисковый бот Yahoo!

2. Yahoo-MMCrawler/3.x (mms dash mmcrawler dash support at yahoo dash inc dot com) — робот для индексации изображений;

3. Yahoo-Blogs/v3.9 (compatible; Mozilla 4.0; MSIE 5.5; help.yahoo.com ) — робот для индексации постов и комментариев блога.

Роботы MSN

Поисковая система MSN содержит набор следующих роботов:

1. msnbot/1.1 (+msnbot) — главный поисковый робот MSN

2. msnbot-media/1.1 (+msnbot) — робот для индексации мультимедийных файлов

3. msnbot-news (+msnbot) — робот для итндексации новостных порталов

4. msnbot-NewsBlogs/1.0 (+msnbot) — бот для индексации блогов

5. msnbot-Products/1.0 (+msnbot) — робот для индексаци товаров и шоппинга