Об инструментах проверки URL поисковиками

Обнаружился баг в инструменте "Проверка ответа сервера" сервиса Яндекс Вебмастер. Если для проверки выбирать по умолчанию Основной робот Яндекса Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots), то проверять приходит не он, а Робот Яндекс Вебмастера Mozilla/5.0 (compatible; YandexWebmaster/2.0; +http://yandex.com/bots).

Будьте внимательны, если вы дифференцируете отдачу содержимого страниц своего сайта по User agent.

Кстати, в Google следует принимать во внимание, что в случае проверки страницы на сайте инструментом "Проверка URL" в Google Search Console проверять страницу придет не Googlebot Smartphone или Desktop, а робот Google Inspection Tool.

Варианты полных строк его User agent для мобильных устройств и десктопов можно найти на странице англоязычной версии документации по поисковым роботам Google Search Central (в русскоязычной версии этой информации пока нет):

Mobile

Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Google-InspectionTool/1.0)

Desktop

Mozilla/5.0 (compatible; Google-InspectionTool/1.0)

Share this