SEO-блог Сергея Людкевича

Гуглоид Гэри Ийеш решил заострить внимание публики на следующем моменте:

"Напомню, что если вы добавите для определенного пути одновременно и правило Disallow в файл robots.txt, и правило noindex для всех файлов этого пути, то сработает только Disallow, т.к. сканировать эти файлы запрещено."

Действительно, неоднократно встречался с подобным, когда люди (в общем-то неглупые) недоумевают, почему Google не выкидывает из индекса URL, ведь они к Disallow добавили еще и мету robots со значением noindex. Да потому, что краулер этот noindex не сможет увидеть, так как вы сами ему запретили это.

Вице-президент Google Дэниель Ромейн объявила о появлении нового краулера Google-Extended, который сканирует контент для использования в системах искусственного интеллекта. 

Так что, если не хотите, чтоб на вашем контенте обучались Bard и Vertex, запрещайте в файле robots.txt сканирование сайта для User-Agent: Google-Extended

По информации SearchEngineLand экс-гуглоид Эрик Леман, проработавший 17 лет инженером качества поиска, во время дачи показаний на антимонопольном процессе США против Google заявил:

"Практически все знают, что мы используем клики для ранжирования".

Однако почему-то официально Google всячески избегает подтверждения этого секрета Полишинеля. Называя его обтекаемо "использованием исторических данных". Согласно тому же Леману, 

"мы стараемся избегать подтверждения того, что мы используем пользовательские данные при ранжировании результатов поиска".

Интересно, почему?

Буржуйский сеошник Патрик Стокс цитирует (немного перефразируя) слова Гэри Ийеша на конференции Pubcon: 

"Я не думаю, что большинство сайтов увидят большую пользу от работы над Core Web Vitals"

На заметку любителям во что бы то ни стало достичь 100% по всем показателям CWV.

Ну, и на закуску, самое, пожалуй, провокационное заявление Гэри Ийеша на конференции Pubcon Pro September 2023:

"Ссылки не являются сигналом ранжирования топ-3 и не были таковыми уже в течение некоторого времени", — сказал Ийеш, добавив, что на самом деле не существует универсального топ-3. 

"Абсолютно возможно ранжироваться без ссылок" — сказал Ийеш, приводя пример страницы с нулевыми внутренними или внешними ссылками, о которой он знал, которая занимала первую позицию по запросу Porsche cars, и Google нашел эту страницу только через карту сайта. 

Контент продолжает оставаться сигналом ранжирования номер один.

"Без контента ранжирование в буквальном смысле невозможно. Если на вашей странице нет слов, она не будет ранжироваться. Каждый сайт будет иметь что-то свое в качестве 2-х или 3-х главных факторов ранжирования", — сказал Ийеш.

Когнитивный диссонанс в квадрате.

Еще один интересный ответ гуглоида Гэри Ийеша на вопросы на конференции Pubcon Pro September 2023:

"С точки зрения Google, было бы довольно глупо полагаться на теги H1-H6 для понимания порядка и иерархии контента.

Используйте теги H там, где это необходимо и где это имеет смысл".

Гэри как бы прозрачно намекает, что сеошные верования в особый вес тегов заголовков, мягко говоря, беспочвенны. Очередной  когнитивный диссонанс.

Пожалуй, самый интересный ответ Гэри Ийеша на вопросы на конференции Pubcon Pro September 2023: 

"Сигналы просроченного домена не наследуются. Если срок действия домена истечет, и кто-то его купит, то любые сигналы, накопленные сайтом, не будут переданы новому владельцу домена. Google знает, когда истекает срок действия домена.

Таким образом, если вы купили домен с истекшим сроком действия и попытались восстановить его (например, получив весь контент из Wayback Machine), вы будете по сути создавать сайт с нуля".

Получается, если Гэри не лукавит, то держатели PBN продают клиентам большой красивый мыльный пузырь.

Ну, и еще получается, что токсичность домена должна очищаться истечением срока действия. Когнитивный диссонанс.

 На прошлой неделе гуглоид Гэри Ийеш выступил на конференции Pubcon Pro September 2023.

На SerchEngineLand опубликованы ответы на вопросы, которые Гэри задали во время выступления.

Начинаю разбирать самые, на мой взгляд, интересные:

Вопрос номер один. Использует ли Google данные о кликах пользователей при ранжировании?

"Технически да", — сказал Ийеш — "Это связано с тем, что исторические данные поиска являются частью RankBrain".

Интересная оговорка "технически". То есть данные о кликах используются, но признаваться в этом как-то некомильфо. Поэтому применяется добавка "технически", что создает впечатление, что используются как-то несерьезно, типа понарошку. 😁

Google объявил об обновлении документации руководства для разработчиков. Добавлена рекомендация не публиковать значимый контент с использованием псевдоэлементов CSS ::before или ::after, так как он может не использоваться для индексации страниц. 

Неужели появился способ закрывать от индексации определенные фрагменты контента на странице?

Гуглоид Джон Мюллер считает, что большинство опасений по поводу дублированного контента распространяются самими сеошниками. Google считает дублированный контент злом только в случае откровенного плагиата с других сайтов, в остальных случаях – это чисто техническая проблема, и Google просто старается не показывать дубликаты в выдаче безо всяких санкций. В общем, позиция Google по этому поводу не изменилась за последние 15 лет.

Полагаю, многие сеошники будут несколько разочарованы, узнав, что гуглоид Джон Мюллер, считает, что страницы с метой robots со значением noindex, follow не передают Pagerank, о чем он сегодня заявил в дискуссии на X. 

Раньше в этом вопросе все ссылались на Мэтта Каттса, который еще в нулевых заявлял, что noindex страницы могут накапливать и передавать PageRank.

Черные буржуйские сеошники делятся крупными новостниками, где можно купить статейку с ссылками на что угодно, даже на казино. Вдруг кому надо.

Заодно интересно было почитать дискуссию о буржуйской спаммерской сеошной терминологии – какие сайты принято называть паразитами. Насколько я понял, это относительно авторитетные сайты, на которых можно размещать свой контент с ссылками на свой сайт, который будет хорошо ранжироваться по низкочастотке за счет веса домена.

В очередном, 64-м, выпуске подкаста Google Search Off the Record Джон Мюллер и Гэри Ийеш поговорили о качестве веб страниц.

Самое интересное – если краулер знает URL, но не спешит его сканировать, значит, он спрогнозировал, что, скорее всего, контент страницы – невысокого качества. 

Если просканировал, но не проиндексировал - значит он решил, что контент страницы невысокого качества.

А если на сайте много страниц невысокого качества, то, значит, и сам сайт невысокого качества. Дословно (Гэри Ийеш): 

"Если вы удалите низкокачественный контент с вашего сайта, то это радикально улучшит оставшуюся часть сайта".

Мотать на ус тем, кто считает, что кучи мусора, доступные для сканирования и индексации – это ничего страшного.

Поиск Google больше не показывает расширенные результаты для структурированных данных How-To на десктопах, а это означает, что этот тип результатов больше не поддерживается. Напомню, что в августе было объявлено об отключении расширенных результатов для How-To в мобильной выдаче. 

Одной возможностью сделать красивый сниппет стало меньше.

Вдобавок к прекращению поддержки расширенных сниппетов для структурированных данных How-To Google радикально ограничил поддержку расширенных сниппетов для структурированных данных FAQ. Согласно данным, приведенным SERoundTable, доля сайтов, для которых показываются подобные расширенные сниппеты упала почти до нуля, оставшись доступной только для известных, авторитетных ресурсов правительства и здравоохранения. 

Похоже, этими возможностями серьезно злоупотребляли, раз Google решился на такой радикальный шаг.

Очередной сеошный миф развеян абсолютным чемпионом по развенчанию мифов гуглоидом Джоном Мюллером. На этот раз досталось оптимальной длине метатега description. Из одного сеошного мануала в другой кочуют цифры его оптимальной длины в 150-160 символов. 

"Мне жаль Вам это говорить, но все эти цифры выдуманы. Тот, кто рассказал вам их, вводит вас в заблуждение..." 

– ответил Джон на вопрос в соцсети Х.

От себя добавлю, что если учесть, что метатег description вообще не участвует в ранжировании (а только в формировании сниппета), то вообще весьма странно говорить о какой-то его оптимальной длине.

Очень часто многие "оптимальные интервалы" для различных сеошных показателей определяются методом карго-культа: подражание кому-либо или чему-либо, не понимая внутренней логики процесса, либо сознательно пренебрегая ею. В итоге просто берутся средние значения по страницам из топа выдачи. 

И очень часто они имеют исчезающе мало отношения к действительности, так как далеко не факт, что лидеры находятся топе благодаря оптимальным значением именно исследуемого показателя. Если он вообще на что-то влияет.

В документации Google по поисковым роботам и инструментам по сборам данных имела место опечатка в названии User-Agent робота сканера Google Inspection Tool – отсутствие знака ; (точка с запятой) в конце строки перед закрывающей скобкой. В Вебархиве последняя версия англоязычной страницы с опечаткой датирована 10 сентября этого года.

Сейчас в англоязычной версии документации опечатка исправлена. Корректная версия:

Mobile

Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Google-InspectionTool/1.0;)

Desktop

Mozilla/5.0 (compatible; Google-InspectionTool/1.0;)

В русскоязычной версии опечатку пока не исправили.

Если кто использует эти юзер-агенты в файле robots.txt – приводите в соответствие.

Обозреватель SearchEngineLand Джеф Фергюссон в пух и прах раскритиковал пузомерку Domain Authority (DA) от Moz. 

Он ее сравнивает со статистическим показателем из оффлайна – "error metric" в бейсболе, который был введен для ранней версии игры, правила которой сильно отличались от современного варианта.

Такая же бесполезная и не имеющая отношения к текущей реальности.

Полностью согласен с Джефом. Впрочем, другие пузомерки, придуманные различными сеошными сервисами, ничем не лучше.

Яндекс раскрыл формулу ранжирования! 

Правда, только в поисковой машине Яндекс Маркета:

"То, насколько высоко будет предложение в результатах поиска, складывается из нескольких факторов:

на 27,5% влияет релевантность — описание товара должно соответствовать запросу пользователя;

на 25,5% — персональные предпочтения пользователя, основанные на предыдущих покупках и поисковых запросах;

на 18% — цена товара: чем она ближе к минимальной на рынке, тем лучше;

на 17% — популярность товара среди покупателей: как часто этот товар заказывают, добавляют в корзину и в избранное, открывают и просматривают карточку товара;

на 12% — рейтинг товара, срок доставки и рейтинг магазина."

Однако, факторы, для которых указана развесовка, сами по себе являются комплексными, состоящими, в свою очередь, из множества более мелких факторов. Так что указанные цифры мало помогут полностью "вскрыть" алгоритм. Так, чисто любопытства ради.

В середине августа в русскоязычной выдаче Google были замечены эксперименты с показом имен сайтов в сниппетах. На днях Google официально объявил о том, что имена сайтов теперь раскатаны на все языки.

В блоге Google Search Central появилась статья о том, как строятся результаты выдачи для многоязычных пользователей. Также в ней сообщается о запуске около двух недель назад очередного обновления системы сопоставления языков. 

Дэнни Салливан написал на X по этому поводу следующее: 

"Эти обновления не относятся к конкретному языку или региону, но помогут любому, кто ищет на нескольких языках по всему миру. Спасибо всем, кто дал нам примеры на разных языках для тестирования наших улучшений, в том числе носителям каталанского языка..."

Похоже, гуглоидов таки дожали темераментные каталонцы, активно протестовавшие в соцсетях против того, что на запросы на каталанском им выдают выдачу на испанском.

И еще один интересный момент из сентябрьских Google Office Hours. 

Отвечая на вопрос о скроллджекинге, Джон Мюллер заметил: 

"Google визуализирует страницы, загружая их в теоретически очень большое мобильное устройство. Если страница не отображает контент из-за махинаций со скроллингом, наши системы могут предположить, что контент не отображается должным образом."

На заметку всем любителям помещать основной контент страницы в невидимые по умолчанию зоны – карусели, вкладки, "под кат" и т.п. Будьте готовы к тому, что в этом случае поисковик предположит, что контент не отображается должным образом, и он будет в лучшем случае бесполезен с точки зрения алгоритма ранжирования, а в худшем – вреден, если поисковик решит, что вы таким образом пытаетесь им манипулировать.

Интересный вопрос в сентябрьских Google SEO Office Hours: почему значения в отчете Google Search Console, полученном с помощью фильтра, могут превышать аналогичные значения в неотфильтрованном отчете?

Гэри Ийеш отвечает, что при составлении отчетов в целях экономии времени и памяти используются фильтры Блума, которые ускоряют поиск, предсказывая, существует ли что-то в наборе данных, и теряя при этом в точности. Причем, чем больше данных, тем больше потерь.

Так что нужно иметь в виду, что в отчетах Google Search Console могут быть потеряны данные, и если Вы в них чего-то не нашли, то это не значит, что этого нет на самом деле.

Буржуйский сеошник по имени Оуэн Хенн делится лайфхаком, как закрыть страницы от индексирования Google и при этом не расходовать краулинговый бюджет.

Запрет в файле robots.txt запрещает сканирование, но не индексацию, и многих напрягает предупреждение в Google Search Console "Проиндексировано, несмотря на блокировку в файле robots.txt" (хотя это и не является ошибкой).

Мета-тег robots со значением noindex запрещает индексацию, но не запрещает сканирование, тем самым расходуя краулинговый бюджет.

Лайфхак следующий: со страниц, для которых нужно исключить попадание в индекс, ставится редирект на специальную страницу, которая содержит мета-тег robots со значением noindex.

В итоге сканируется только одна эта страница, а страницы с редиректами выпадают из индекса и не сканируются.

Выглядит весьма любопытно.

Наткнулся на интересный тред в Linkedin. Гуглоид Гэри Ийеш рассказал, в каком случае обработка запроса If-Modified-Since с отдачей кода состояния 304 Not Found может сослужить плохую службу:

1. Краулер запрашивает URL.

2. Сервер обнаруживает какую-то ошибку и отображает пустую страницу с кодом состояния 200 ОК.

3. Сканер считает это временной программной ошибкой и планирует повторное сканирование для проверки.

4. Поскольку сервер считает, что контент (который на самом деле не был предоставлен) не изменился, он возвращает код состояния 304 для данного URL (как того требует стандарт HTTP RFC 9110).

5. Краулер получает информацию, что ошибка сохраняется, и больше не пытается выполнить повторное сканирование (со временем это произойдет, но нескоро).

Довольно тонкий нюанс, но действительно такой риск имеет место быть, хотя вероятность подобного развития событий невысока. 

Получается, в идеале надо отслеживать случаи, когда размер ответа составляет 0 байт при коде состояния 200 OK, как предложил в комментариях другой гуглоид по имени Вивек Синха Анураг, и учитывать эту информацию при обработке запроса If-Modified-Since.

Барри Шварц из SERoundTable вдруг вытащил на божий свет январский пост гуглоида Джона Мюллера, в котором тот говорит об отсутствии эффекта от ключевых слов LSI. 

На вопрос в Твиттере, где лучше использовать LSI – в заголовках или в обычном тексте, Джон отвечает:

"Оба места одинаково полезны для размещения ключевых слов LSI... Оба не имеют никакого эффекта. Любой, кто говорит вам использовать ключевые слова LSI, неправ"

Опять таки соглашусь с Джоном. На мой взгляд, LSI – одна из самых больших профанаций, которая существует в сеошном мире.

Любопытный случай описывает один испанский сеошник. У него на сайте Google вдруг стал склеивать абсолютно непохожие страницы, выбирая канонической ту, которая в ссылочной структуре находится ближе к главной. Пишет, что не одинок в подобном отношении Google к сайту. 

У кого-то наблюдается что-то подобное?

"Техническое SEO не уходит, оно продолжает оставаться основой всего, что построено в открытой сети" 

– ответил гуглоид Джон Мюллер на заявления одного пользователя соцсети X, что техническое SEO теряет актуальность по сравнению с контентом. 

Целиком и полностью согласен с Джоном, без грамотной технички сложно добиться хорошего результата, имея даже супер-пупер контент.

В Блоге Яндекса для вебмастеров появился анонс новых возможностей отчета "Мониторинг запросов" – добавлены сортировка и фильтр по спросу, а также а еще уточнены значения N/A и 0 в отчетах, чтоб было понятно, то ли пользователи не могут найти вас в выдаче по конкретному запросу, то ли статистика по нему просто не отображается в инструменте. 

Такая активность яндексоидов определенно радует.