Изменение отношения Яндекса к запрету индексации в файле robots.txt

Обнаружил, что Яндекс изменил своё отношение к запрещенным в файле robots.txt страницам.

На странице Яндекс Справки "Использование файла robots.txt" появилось примечание:

"Ограниченные в robots.txt страницы могут участвовать в поиске Яндекса. Чтобы удалить страницы из поиска, укажите директиву noindex в HTML-коде страницы или настройте HTTP-заголовок."

А на странице "Как удалить страницы из поиска" в описании способа удаления "Запрет в файле robots.txt" вместо фразы 

"Робот прекращает обращаться к странице в течение суток."

появилась фраза

"Из поисковой базы страница будет удалена в течение недели после того, как робот обнаружит ваши указания. При этом страница может иногда появляться в результатах поиска, например, если на нее ведут ссылки с других ресурсов."

Таким образом Яндекс в данном вопросе перенял позицию Google. Надеюсь, что так же, как и Google, сканировать запрещенные в robots.txt страницы Яндекс все-таки не будет.

Share this