Названия поисковых ботов
Поисковые роботы-боты занимаются индексацией сайта. Фактически поисковый робот – это программа, которая периодически посещает страницы сайтов в Интернете и вносит все (или только новые) страницы сайта в базу данных поискового сервера. У всех крупных поисковиков есть свои боты, а у многих из них даже по нескольку ботов, благодаря чему мы всегда можем найти свежую информацию.
Список поисковых ботов
| Название бота | Поисковая система |
|---|---|
| aport | Aport Bot |
| archive_org | Archive.org Bot |
| Ask Jeeves | Ask Jeeves Bot |
| booch | Booch Bot |
| GetSmart | Get Smart Bot |
| GigaBlast | Gigablast Bot |
| Gigabot | Gigablast Bot |
| Googlebot | Google Bot |
| grub-client | Grub Client Bot |
| ia_archiver | IA.Archiver Bot |
| Jetbot | Jet Bot |
| libwww | Punto Bot |
| Lycos | Lycos Bot |
| MnoGoSearch | Mno Go Search Bot |
| Mozilla/5.0 (compatible; Yahoo! Slurp) | Yahoo! |
| msnbot | MSN Bot |
| NaverBot | Naver Bot |
| oBot | oBot |
| Openbot | Openfind Bot |
| rambler / StackRambler/2.0 (MSIE incompatible) | Rambler Bot |
| scooter | Altavista Bot |
| slurp@inktomi | Hot Bot |
| StackRambler | Stack Rambler Bot |
| SurveyBot/2.3 | Whois Source |
| TurnitinBot | Turnitin Bot |
| TurtleScanner | Turtle Scanner Bot |
| Vampire | Net Vampire Bot |
| Webalta | WebAlta Bot |
| WebCrawler | Fast Bot |
| WebZIP | WebZIP Bot |
| WhatUSeek | What You Seek Bot |
| Yahoo! (Slurp) | Yahoo Bot |
| Yahoo-MMCrawler | Yahoo-MM Crawler Bot |
| Yandex | Yandex Bot |
| ZipppBot | Zippp Bot |
Боты Яндекса
| Yandex/1.01.001 (compatible; Win16; I) | главный индексирующий паук Яндекса |
| Yandex/1.01.001 (compatible; Win16; P) | робот для индексации картинок |
| Yandex/1.01.001 (compatible; Win16; H) | определение зеркал сайтов, «робот-зекральщик» |
| Yandex/1.02.000 (compatible; Win16; F) | робот для индексации фавиконок-пиктограмм сайтов (favicons) |
| Yandex/1.03.003 (compatible; Win16; D) | обращается к странице при добавлении её через форму «Добавить URL» (ещё её называют аддуэрелка, дурилка), сам робот – аддуэрельщик |
| Yandex/1.03.000 (compatible; Win16; M) | обращается при открытии страницы по ссылке «Найденные слова» |
| YaDirectBot/1.0 (compatible; Win16; I) | робот индексирует страницы сайтов, участвующих в Рекламной сети Яндекса |
| YandexBlog/0.99.101 (compatible; DOS3.30,B) | робот индексирует xml-файлы для поиска по блогам |
| YandexSomething/1.0 | индексация новостных потоков партнёров Яндекс-Новостей |
| Yandex/2.01.000 (compatible; Win16; Dyatel; C) | «простукивалка» Яндекс.Каталога. Если сайт недоступен в течение нескольких дней, он снимается с публикации. Как только сайт начинает отвечать, он автоматически появляется в Каталоге. Робот ЯКи. |
| Yandex/2.01.000 (compatible; Win16; Dyatel; Z) | «простукивалка» Яндекс.Закладок, если сайт недоступен, то его сылки помечаются серым цветом |
| Yandex/2.01.000 (compatible; Win16; Dyatel; D) | «простукивалка» Яндекс.Директа, проверяющая корректность ссылок из объявлений перед модерацией |
| Yandex/2.01.000 (compatible; Win16; Dyatel; N) | «простукивалка» Яндекс.Новостей, формирующая отчёт для контент-менеджера, который оценивает масштаб проблем и, при необходимости, связывается с партнёром |
Боты Гугла
| Googlebot-Image/1.0 | бот индексации картинок |
| Googlebot-Mobile/2.1 | робот поиска для мобильных устройств |
| Googlebot/2.1 – a Googlebot/2.1 – b Googlebot/2.1 – c |