Реквием универсальному способу проверки аффилированности двух сайтов в Яндексе

В своей предыдущей статье «Аффилирование в Яндексе – мимикрия или амнистия?», посвященной анализу ранее работавших универсальных методов определения аффилированности двух сайтов в Яндексе, я сделал два предположения – либо изменился принцип ранжирования аффилированных сайтов («мимикрия»), либо все известные мне пары некогда аффилированных сайтов перестали быть аффилированными («амнистия»). Я попросил читателей поделиться известными им парами некогда аффилированных сайтов, а также сам стал исследовать поисковую выдачу на предмет поиска таковых. 

Хочу сказать огромное спасибо всем откликнувшимся на мою просьбу, ваши примеры реально помогли мне сделать вывод о том, какое из двух предположений верно.

Оказалось, что верно предположение о «мимикрии», т.е. изменился принцип ранжирования аффилированных сайтов. Если раньше аффилированные сайты группировались в одну группу, из которой в выдаче показывался только один наиболее релевантный документ, то теперь такой группировки аффилированных сайтов нет. Однако в выдаче, сгруппированной по сайтам, документы с тех из них, которые являются менее релевантными запросу, чем их аффилиат, получают некий дисконт (пост-штраф) к рассчитанному значению релевантности. 

Продемонстрирую это на примере. Во время анализа поисковой выдачи на предмет поиска аффилиатов в поле моего зрения попали сайт Столичного Института Экономики и Финансов https://www.rhll.ru/ и сайт учебного центра при этом же институте https://www.moscow-kursy.ru/. На обоих сайтах предлагаются различные курсы, например, бухгалтерские. 

Я сформировал следующий запрос, по которому первый сайт показывается на третьем месте, а второго нет в топ-50:

Эта выдача по умолчанию сгруппирована по сайтам. Я решил ее разгруппировать. Для этого я воспользовался недокументированным get-параметром &pag=u, который я упоминал с одной из своих статей «Параметры URL страницы выдачи Яндекса». Несмотря на то, что этот параметр уже давно по сути является артефактом, он, тем не менее, прекрасно работает. В принципе, разгруппировывать выдачу по сайтам можно и другими способами, добавляя в запрос документные операторы таким образом, чтоб они не искажали выдачу, но данный способ мне нравится больше всего, т.к. при его использовании исходный запрос остается неизменным. Так вот, в разгруппированной выдаче второй сайт появляется где-то в районе топ-20:

И это ведь выдача не по сайтам, а по документам, то есть в сгруппированной выдаче он должен был быть еще ближе к топу, т.к. в разгруппированной выше него попадается по нескольку документов с одного сайта. Напрашивается вывод, что в сгруппированной выдаче что-то ему мешает занять это место в топе. Я попробовал исключить из выдачи первый исследуемый сайт (не прибегая к документным операторам, ниже объясню почему). И, вуаля, второй сайт занял седьмое место на первой странице выдачи:

Таким образом мы определили, что мешал ему занять это место именно теперь исчезнувший из выдачи первый сайт.

Теперь поясню, почему я для исключения из выдачи второго сайта не пользовался документными операторами. Во-первых, исключать сайты из выдачи, используя документные операторы можно только с помощью уже недокументированного оператора отрицания ~~. А во-вторых, теперь связка оператора отрицания с документным оператором разгруппирует выдачу (чего не было ранее), что не позволит нам корректно определить аффилиат:

Так что для исключения из выдачи первого аффилиата следует использовать оператор отрицания без документного оператора, исключая, например, ключевое слово из его доменного имени или какое-нибудь слово, содержащееся на всех его страницах, но не содержащееся на страницах второго аффилиата (если таковое имеется).

Итак, получается, что в данном примере величина дисконта оказалась достаточной, чтоб отправить второй аффилиат за пределы топ-50 выдачи, но далеко не всегда это так.  Например, по другому запросу оба сайта находятся на первой странице выдачи – первый на первом месте, второй – на пятом:
 

Но исключение первого сайта ожидаемо подбрасывает второй на первое место:

То есть в данном случае величины дисконта не хватило, чтоб выдавить второй аффилиат даже из топ-5.

В общем, приходится констатировать факт, что аффилированность никуда не делась, просто все прежние универсальные способы определения аффилированности двух сайтов, основанные на принципе исчезновения одного из них при сужении выдачи на малое количество сайтов (в идеале – на два исследуемых сайта), оказываются теперь абсолютно неработоспособными. Но, как показывают мои примеры, аффилированность двух сайтов все-таки возможно определить, только придется делать это вручную, каждый раз подбирая запросы, подходящие для того, чтоб зафиксировать перемещение второго аффилиата в выдаче при исключении из нее первого. Универсальность же, являющаяся залогом возможности автоматизации, увы, пока недоступна.

И в заключении хочется заметить, что теперь аффилированность можно в прямом смысле этого слова называть фильтром, в то время как раньше это была все-таки группировка.

Share this