Написать

Список поисковых роботов Google и Yandex

Опубликовано: 27.01.2020 в 15:53
Содержание
1. Поисковые роботы Google
2. Поисковые роботы Yandex 
Ссылки:
https://developers.google.com/search/docs/advanced/crawling/overview-google-crawlers?hl=ru&visit_id=637993596247573960-982950236&rd=1
https://yandex.ru/support/webmaster/robot-workings/check-yandex-robots.html

Поисковые роботы Google

APIs-GoogleТокен агента пользователяAPIs-GoogleПолная строка агента пользователяAPIs-Google (+https://developers.google.com/webmasters/APIs-Google.html)
AdsBot Mobile Web AndroidПроверяет качество рекламы на веб-страницах, предназначенных для устройств Android.Токен агента пользователя AdsBot-Google-Mobile Полная строка агента пользователяMozilla/5.0 (Linux; Android 5.0; SM-G920A) AppleWebKit (KHTML, like Gecko) Chrome Mobile Safari (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html)
AdsBot Mobile WebПроверяет качество рекламы на веб-страницах, предназначенных для устройств iOS.Токен агента пользователя AdsBot-Google-Mobile Полная строка агента пользователяMozilla/5.0 (iPhone; CPU iPhone OS 14_7_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/14.1.2 Mobile/15E148 Safari/604.1 (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html)
AdsBotПроверяет качество рекламы на веб-страницах, предназначенных для компьютеров.Токен агента пользователя AdsBot-Google Полная строка агента пользователя AdsBot-Google (+http://www.google.com/adsbot.html)
AdSenseТокен агента пользователяMediapartners-GoogleПолная строка агента пользователяMediapartners-Google
Googlebot ImageТокены агента пользователяGooglebot-ImageGooglebotПолная строка агента пользователяGooglebot-Image/1.0
Googlebot NewsТокены агента пользователя Googlebot-NewsGooglebot Полная строка агента пользователя Агент пользователя Googlebot-News задействует самые разные строки.
Googlebot VideoТокены агента пользователя Googlebot-VideoGooglebot Полная строка агента пользователяGooglebot-Video/1.0
Googlebot DesktopТокен агента пользователяGooglebotПолные строки агента пользователяMozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36
Googlebot/2.1 (+http://www.google.com/bot.html)
Googlebot SmartphoneТокен агента пользователяGooglebotПолная строка агента пользователяMozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Mobile AdSenseТокен агента пользователя Mediapartners-Google Полная строка агента пользователя(Various mobile device types) (compatible; Mediapartners-Google/2.1; +http://www.google.com/bot.html)
Mobile Apps AndroidПроверяет качество рекламы в приложениях для устройств Android. Этот робот действует в соответствии с теми же правилами, что и AdsBot-Google.Токен агента пользователя AdsBot-Google-Mobile-Apps Полная строка агента пользователя AdsBot-Google-Mobile-Apps
FeedfetcherВнимание! Feedfetcher не учитывает правила, указанные в файле robots.txt.Токен агента пользователя FeedFetcher-Google Полная строка агента пользователя FeedFetcher-Google; (+http://www.google.com/feedfetcher.html)
Google Read AloudВнимание! Google Read Aloud не учитывает правила, указанные в файле robots.txt.Токен агента пользователя Google-Read-Aloud Полные строки агента пользователя Текущие агенты пользователя:Версия для компьютеров:
Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.118 Safari/537.36 (compatible; Google-Read-Aloud; +https://developers.google.com/search/docs/advanced/crawling/overview-google-crawlers)Версия для мобильных устройств:
Mozilla/5.0 (Linux; Android 7.0; SM-G930V Build/NRD90M) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.125 Mobile Safari/537.36 (compatible; Google-Read-Aloud; +https://developers.google.com/search/docs/advanced/crawling/overview-google-crawlers)Прежняя версия (больше не поддерживается):google-speakr
Duplex в интернетеВнимание! Duplex в интернете может игнорировать подстановочный знак *.Токен агента пользователя DuplexWeb-Google Полная строка агента пользователяMozilla/5.0 (Linux; Android 11; Pixel 2; DuplexWeb-Google/1.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.193 Mobile Safari/537.36
Google FaviconВнимание! В случае пользовательских запросов Google Favicon не учитывает правила, указанные в файле robots.txt.Токен агента пользователя Googlebot-ImageGooglebot Полная строка агента пользователяMozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.75 Safari/537.36 Google Favicon
Web LightВнимание! Web Light не учитывает правила, указанные в файле robots.txt.Токен агента пользователя googleweblight Полная строка агента пользователяMozilla/5.0 (Linux; Android 4.2.1; en-us; Nexus 5 Build/JOP40D) AppleWebKit/535.19 (KHTML, like Gecko; googleweblight) Chrome/38.0.1025.166 Mobile Safari/535.19
Google StoreBotТокен агента пользователя Storebot-Google Полные строки агента пользователя Версия для компьютеров:Mozilla/5.0 (X11; Linux x86_64; Storebot-Google/1.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36Версия для мобильных устройств:Mozilla/5.0 (Linux; Android 8.0; Pixel 2 Build/OPD3.170816.012; Storebot-Google/1.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Mobile Safari/537.36

Поисковые роботы Yandex

Mozilla/5.0 (compatible; YandexAccessibilityBot/3.0; +http://yandex.com/bots)Скачивает страницы для проверки их доступности пользователям.Его максимальная частота обращений к сайту составляет 3 обращения в секунду. Робот игнорирует настройку в интерфейсе Яндекс Вебмастера.Нет
Mozilla/5.0 (compatible; YandexAdNet/1.0; +http://yandex.com/bots)Робот Рекламной сети Яндекса.Да
Mozilla/5.0 (compatible; YandexBlogs/0.99; robot; +http://yandex.com/bots)Робот поиска по блогам, индексирующий комментарии постов.Да
Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)Основной индексирующий робот.Да
Mozilla/5.0 (compatible; YandexBot/3.0; MirrorDetector; +http://yandex.com/bots)Определяющий зеркала сайтов.Да
Mozilla/5.0 (compatible; YandexCalendar/1.0; +http://yandex.com/bots)Робот Яндекс Календаря. Скачивает файлы календарей по инициативе пользователей, которые часто располагаются в запрещенных для индексации каталогах.Нет
Mozilla/5.0 (compatible; YandexDialogs/1.0; +http://yandex.com/bots)Отправляет запросы в навыки Алисы.Нет
Mozilla/5.0 (compatible; YandexDirect/3.0; +http://yandex.com/bots)Скачивает информацию о контенте сайтов-партнеров Рекламной сети Яндекса, чтобы уточнить их тематику для подбора релевантной рекламы.Нет
Mozilla/5.0 (compatible; YandexDirectDyn/1.0; +http://yandex.com/botsГенерирует динамические баннеры.Нет
Mozilla/5.0 (compatible; YandexFavicons/1.0; +http://yandex.com/bots)Скачивает файл фавиконки сайта для отображения в результатах поиска.Нет
Mozilla/5.0 (compatible; YaDirectFetcher/1.0; Dyatel; +http://yandex.com/bots)Скачивает целевые страницы рекламных объявлений для проверки их доступности и уточнения тематики. Это необходимо для размещения объявлений в поисковой выдаче и на сайтах-партнерах.Нет. Робот не использует файл robots.txt, поэтому игнорирует директивы, установленные для него.
Mozilla/5.0 (compatible; YandexForDomain/1.0; +http://yandex.com/bots)Робот почты для домена, используется при проверке прав на владение доменом.Да
Mozilla/5.0 (compatible; YandexImages/3.0; +http://yandex.com/bots)Индексирует изображения для показа на Яндекс Картинках.Да
Mozilla/5.0 (compatible; YandexImageResizer/2.0; +http://yandex.com/bots)Робот мобильных сервисов.Да
Mozilla/5.0 (iPhone; CPU iPhone OS 8_1 like Mac OS X) AppleWebKit/600.1.4 (KHTML, like Gecko) Version/8.0 Mobile/12B411 Safari/600.1.4 (compatible; YandexMobileBot/3.0; +http://yandex.com/bots)Определяет страницы с версткой, подходящей под мобильные устройства.Нет
Mozilla/5.0 (compatible; YandexMarket/1.0; +http://yandex.com/bots)Робот Яндекс Маркета.Да
Mozilla/5.0 (compatible; YandexMarket/2.0; +http://yandex.com/bots)Нет
Mozilla/5.0 (compatible; YandexMedia/3.0; +http://yandex.com/bots)Индексирует мультимедийные данные.Да
Mozilla/5.0 (compatible; YandexMetrika/2.0; +http://yandex.com/bots yabs01)Скачивает страницы сайта для проверки их доступности, в том числе проверяет целевые страницы объявлений Яндекс Директа.Нет. Робот не использует файл robots.txt, поэтому игнорирует директивы, установленные для него.
Mozilla/5.0 (compatible; YandexMetrika/2.0; +http://yandex.com/bots)Робот Яндекс Метрики.Нет
Mozilla/5.0 (compatible; YandexMetrika/3.0; +http://yandex.com/bots)Нет
Mozilla/5.0 (compatible; YandexMetrika/4.0; +http://yandex.com/bots)Робот Яндекс Метрики. Скачивает и кэширует CSS-стили для воспроизведения страниц сайта в Вебвизоре.Нет. Робот не использует файл robots.txt, поэтому игнорирует директивы, установленные для него.
Mozilla/5.0 (compatible; YandexMobileScreenShotBot/1.0; +http://yandex.com/bots)Делает снимок мобильной страницы.Нет
Mozilla/5.0 (compatible; YandexNews/4.0; +http://yandex.com/bots)Робот Яндекс Новостей.Да
Mozilla/5.0 (compatible; YandexOntoDB/1.0; +http://yandex.com/bots)Робот объектного ответа.Да
Mozilla/5.0 (compatible; YandexOntoDBAPI/1.0; +http://yandex.com/bots)Робот объектного ответа, скачивающий динамические данные.Нет
Mozilla/5.0 (compatible; YandexPagechecker/1.0; +http://yandex.com/bots)Обращается к странице при валидации микроразметки через форму Валидатор микроразметки.Да
Mozilla/5.0 (compatible; YandexPartner/3.0; +http://yandex.com/bots)Скачивает информацию о контенте сайтов-партнеров ЯндексаНет
Mozilla/5.0 (compatible; YandexRCA/1.0; +http://yandex.com/bots)Собирает данные для формирования превью. Например, для расширенного отображения сайта в поиске.Нет
Mozilla/5.0 (compatible; YandexRenderResourcesBot/1.0; +http://yandex.com/bots)Загружает ресурсы для рендеринга страницы с JavaScript.Игнорирует указания в robots.txt, если HTML-страница, на которой эти ресурсы размещены, доступна для робота Яндекса.Робот не обращается к ресурсам, если в robots.txt запрещены HTML-страницы, где эти ресурсы используются.Нет
Mozilla/5.0 (compatible; YandexSearchShop/1.0; +http://yandex.com/bots)Скачивает YML-файлы каталогов товаров (по инициативе пользователей), которые часто располагаются в запрещенных для индексации каталогах.Нет
Mozilla/5.0 (compatible; YandexSitelinks; Dyatel; +http://yandex.com/bots)Проверяет доступность страниц, которые используются в качестве быстрых ссылок.Да
Mozilla/5.0 (compatible; YandexSpravBot/1.0; +http://yandex.com/bots)Робот Яндекс Бизнеса.Да
Mozilla/5.0 (compatible; YandexTracker/1.0; +http://yandex.com/bots)Робот Яндекс Трекера.Нет
Mozilla/5.0 (compatible; YandexTurbo/1.0; +http://yandex.com/bots)Обходит RSS-канал, созданный для формирования Турбо-страниц. Его максимальная частота обращений к сайту составляет 3 обращения в секунду. Робот игнорирует настройку в интерфейсе Яндекс Вебмастера и директиву Crawl-delay.Да
Mozilla/5.0 (compatible; YandexUserproxy; robot; +http://yandex.com/bots)Проксирует действия пользователей на сервисах Яндекса: отправляет запросы в ответ на нажатие кнопок, скачивает страницы для перевода онлайн и т. д.Нет
Mozilla/5.0 (compatible; YandexVertis/3.0; +http://yandex.com/bots)Робот поисковых вертикалей.Да
Mozilla/5.0 (compatible; YandexVerticals/1.0; +http://yandex.com/bots)Робот Яндекс Вертикалей: Авто.ру, Янекс.Недвижимость, Яндекс Работа, Яндекс Отзывы.Да
Mozilla/5.0 (compatible; YandexVideo/3.0; +http://yandex.com/bots)Индексирует видео для показа в поиске Яндекса по видео.Да
Mozilla/5.0 (compatible; YandexVideoParser/1.0; +http://yandex.com/bots)Индексирует видео для показа в поиске Яндекса по видео.Нет
Mozilla/5.0 (compatible; YandexWebmaster/2.0; +http://yandex.com/bots)Робот Яндекс Вебмастера.Да
Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z* Safari/537.36 (compatible; YandexScreenshotBot/3.0; +http://yandex.com/bots)Делает снимок страницы.Нет
Теги