Как вычислить робота Yandex и Google в логах сайта?

21.08.2022
21

Очень важно отличать плохих роботов от хороших ! Почему ?
Потому что, если вы заблокируете хорошего робота, например робота Googlebot, ваш сайт перестанет индексироваться в поисковой системе Google. К тому же, если вы знаете имена хороших роботов, то вы сможете очень быстро вычислить и заблокировать плохих роботов.

Далее, вы можете узнать имена и обозначения всех роботов Yandex и Google, чтобы знать их в лицо !

Как представляется Гугл

Имя поискового робота Обозначение Полное название, как в логах сайта
Googlebot Сайты для обычных компьютеров. Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)либо Googlebot/2.1 (+http://www.google.com/bot.html)
Googlebot Сайты для мобильных устройств. Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Googlebot-News Новостной поисковый робот. Googlebot-News
Googlebot Images Робот для индексации изображений. Googlebot-Image/1.0
Googlebot Video Робот для индексации видео. Googlebot-Video/1.0
Mediapartners-Google или Mediapartners
(Googlebot)
Робот Google AdSense для мобильных устройств. [различные типы мобильных устройств] (compatible; Mediapartners-Google/2.1; +http://www.google.com/bot.html)
Mediapartners-GoogleMediapartners
(Googlebot)
Робот Google AdSense. Mediapartners-Google
AdsBot-Google Google AdsBot (проверка качества целевой страницы) AdsBot-Google (+http://www.google.com/adsbot.html)
AdsBot-Google-Mobile-Apps Робот Google для приложений(сканирование ресурсов для мобильных приложений, подчиняется тем же правилам, что и Google AdsBot) AdsBot-Google-Mobile-Apps

Как представляется Яндекс

Полное имя робота, включая User-agent Назначение робота Учитывает общие правила, указанные в robots.txt
Mozilla/5.0 (compatible; YandexAccessibilityBot/3.0; +http://yandex.com/bots) Скачивает страницы для проверки их доступности пользователям.Его максимальная частота обращений к сайту составляет 3 обращения в секунду. Робот игнорирует настройку в интерфейсе Яндекс.Вебмастера. Нет
Mozilla/5.0 (compatible; YandexAdNet/1.0; +http://yandex.com/bots) Робот Рекламной сети Яндекса. Да
Mozilla/5.0 (compatible; YandexBlogs/0.99; robot; +http://yandex.com/bots) Робот поиска по блогам, индексирующий комментарии постов. Да
Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots) Основной индексирующий робот. Да
Mozilla/5.0 (compatible; YandexBot/3.0; MirrorDetector; +http://yandex.com/bots) Определяющий зеркала сайтов. Да
Mozilla/5.0 (compatible; YandexCalendar/1.0; +http://yandex.com/bots) Робот Яндекс.Календаря. Скачивает файлы календарей по инициативе пользователей, которые часто располагаются в запрещенных для индексации каталогах. Нет
Mozilla/5.0 (compatible; YandexDialogs/1.0; +http://yandex.com/bots) Отправляет запросы в навыки Алисы. Нет
Mozilla/5.0 (compatible; YandexDirect/3.0; +http://yandex.com/bots) Скачивает информацию о контенте сайтов-партнеров Рекламной сети Яндекса, чтобы уточнить их тематику для подбора релевантной рекламы. Нет
Mozilla/5.0 (compatible; YandexDirectDyn/1.0; +http://yandex.com/bots Генерирует динамические баннеры. Нет
Mozilla/5.0 (compatible; YandexFavicons/1.0; +http://yandex.com/bots) Скачивает файл фавиконки сайта для отображения в результатах поиска. Нет
Mozilla/5.0 (compatible; YaDirectFetcher/1.0; Dyatel; +http://yandex.com/bots) Скачивает целевые страницы рекламных объявлений для проверки их доступности и уточнения тематики. Это необходимо для размещения объявлений в поисковой выдаче и на сайтах-партнерах. Нет. Робот не использует файл robots.txt, поэтому игнорирует директивы, установленные для него.
Mozilla/5.0 (compatible; YandexForDomain/1.0; +http://yandex.com/bots) Робот почты для домена, используется при проверке прав на владение доменом. Да
Mozilla/5.0 (compatible; YandexImages/3.0; +http://yandex.com/bots) Индексирует изображения для показа на Яндекс.Картинках. Да
Mozilla/5.0 (compatible; YandexImageResizer/2.0; +http://yandex.com/bots) Робот мобильных сервисов. Да
Mozilla/5.0 (iPhone; CPU iPhone OS 8_1 like Mac OS X) AppleWebKit/600.1.4 (KHTML, like Gecko) Version/8.0 Mobile/12B411 Safari/600.1.4 (compatible; YandexBot/3.0; +http://yandex.com/bots) Индексирующий робот. Да
Mozilla/5.0 (iPhone; CPU iPhone OS 8_1 like Mac OS X) AppleWebKit/600.1.4 (KHTML, like Gecko) Version/8.0 Mobile/12B411 Safari/600.1.4 (compatible; YandexMobileBot/3.0; +http://yandex.com/bots) Определяет страницы с версткой, подходящей под мобильные устройства. Нет
Mozilla/5.0 (compatible; YandexMarket/1.0; +http://yandex.com/bots) Робот Яндекс.Маркета. Да
Mozilla/5.0 (compatible; YandexMarket/2.0; +http://yandex.com/bots) Нет
Mozilla/5.0 (compatible; YandexMedia/3.0; +http://yandex.com/bots) Индексирует мультимедийные данные. Да
Mozilla/5.0 (compatible; YandexMetrika/2.0; +http://yandex.com/bots yabs01) Скачивает страницы сайта для проверки их доступности, в том числе проверяет целевые страницы объявлений Яндекс.Директа. Нет. Робот не использует файл robots.txt, поэтому игнорирует директивы, установленные для него.
Mozilla/5.0 (compatible; YandexMetrika/2.0; +http://yandex.com/bots) Робот Яндекс.Метрики. Нет
Mozilla/5.0 (compatible; YandexMetrika/3.0; +http://yandex.com/bots) Нет
Mozilla/5.0 (compatible; YandexMetrika/4.0; +http://yandex.com/bots) Робот Яндекс.Метрики. Скачивает и кэширует CSS-стили для воспроизведения страниц сайта в Вебвизоре. Нет. Робот не использует файл robots.txt, поэтому игнорирует директивы, установленные для него.
Mozilla/5.0 (compatible; YandexMobileScreenShotBot/1.0; +http://yandex.com/bots) Делает снимок мобильной страницы. Нет
Mozilla/5.0 (compatible; YandexNews/4.0; +http://yandex.com/bots) Робот Яндекс.Новостей. Да
Mozilla/5.0 (compatible; YandexOntoDB/1.0; +http://yandex.com/bots) Робот объектного ответа. Да
Mozilla/5.0 (compatible; YandexOntoDBAPI/1.0; +http://yandex.com/bots) Робот объектного ответа, скачивающий динамические данные. Нет
Mozilla/5.0 (compatible; YandexPagechecker/1.0; +http://yandex.com/bots) Обращается к странице при валидации микроразметки через форму Валидатор микроразметки. Да
Mozilla/5.0 (compatible; YandexPartner/3.0; +http://yandex.com/bots) Скачивает информацию о контенте сайтов-партнеров Яндекса Нет
Mozilla/5.0 (compatible; YandexRCA/1.0; +http://yandex.com/bots) Собирает данные для формирования превью. Например, колдунщика. Нет
Mozilla/5.0 (compatible; YandexSearchShop/1.0; +http://yandex.com/bots) Скачивает YML-файлы каталогов товаров (по инициативе пользователей), которые часто располагаются в запрещенных для индексации каталогах. Нет
Mozilla/5.0 (compatible; YandexSitelinks; Dyatel; +http://yandex.com/bots) Проверяет доступность страниц, которые используются в качестве быстрых ссылок. Да
Mozilla/5.0 (compatible; YandexSpravBot/1.0; +http://yandex.com/bots) Робот Яндекс.Бизнеса. Да
Mozilla/5.0 (compatible; YandexTracker/1.0; +http://yandex.com/bots) Робот Яндекс.Трекера. Нет
Mozilla/5.0 (compatible; YandexTurbo/1.0; +http://yandex.com/bots) Обходит RSS-канал, созданный для формирования Турбо-страниц. Его максимальная частота обращений к сайту составляет 3 обращения в секунду. Робот игнорирует настройку в интерфейсе Яндекс.Вебмастера и директиву Crawl-delay. Да
Mozilla/5.0 (compatible; YandexVertis/3.0; +http://yandex.com/bots) Робот поисковых вертикалей. Да
Mozilla/5.0 (compatible; YandexVerticals/1.0; +http://yandex.com/bots) Робот Яндекс.Вертикалей: Авто.ру, Янекс.Недвижимость, Яндекс.Работа, Яндекс.Отзывы. Да
Mozilla/5.0 (compatible; YandexVideo/3.0; +http://yandex.com/bots) Индексирует видео для показа в поиске Яндекса по видео. Да
Mozilla/5.0 (compatible; YandexVideoParser/1.0; +http://yandex.com/bots) Индексирует видео для показа в поиске Яндекса по видео. Нет
Mozilla/5.0 (compatible; YandexWebmaster/2.0; +http://yandex.com/bots) Робот Яндекс.Вебмастера. Да
Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z* Safari/537.36 (compatible; YandexScreenshotBot/3.0; +http://yandex.com/bots) Делает снимок страницы. Нет

* Сочетание символов W.X.Y.Z является меткой-заполнителем для версии браузера Chrome, которую использует агент пользователя. Например: 41.0.2272.96.

Список основных хороших (безопасных) роботов:

  • AOL.com
  • Baidu
  • Bingbot/MSN
  • DuckDuckGo
  • Googlebot
  • Teoma
  • Yahoo!
  • Yandex

Остались вопросы?

Наши эксперты готовы ответить на них!
Свяжитесь по указанному телефону с нашим менеджером или воспользуйтесь услугой «Перезвонить мне». Мы свяжемся с вами в ближайшее время.

    Крутите колесо
    и получайте приз
    Укажите свою почту и мы пришлем на нее ваш подарок
    Акция действует только для новых подписчиков
    На этом сайте используются файлы cookie. Продолжая просмотр сайта, вы разрешаете их использование. Подробнее. Закрыть