Запрет сканирования краулером определенной части страницы

Гуглоид Гэри Ийеш, отвечая на вопрос о возможности запрета сканирования краулером определенной части страницы, предлагает недокументированные способы ввиду отсутствия документированных:

1) поместить этот раздел в JavaScript, который запрещен для сканирования;

2) настроить свой http-сервер таким образом, чтобы условно пропускать возврат определенных байтов - другими словами, заняться клоакингом.

Правда с оговоркой, что что большинству поисковых систем не особенно нравится эта практика, потому что исторически она использовалась для спамерских техник.

Вот такие "вредные советы" от гуглоида.

Я бы лично рекомендовал воспользоваться все-таки первым способом. Второй более опасен с точки зрения антиспама, так как боты и пользователи получают разные версии страницы. Хотя, по логике, криминал должен возникать не там, где от бота скрывают то, что показывают пользователю, а наоборот - там, где от пользователя скрывают то, что показывают боту.

Share this