Google: отдельные страницы, закрытые в robots.txt, заблокированы

5 Апреля 2013
 По сообщениям авторитетного зарубежного издания, в сервисе «Рекомендации для веб-мастеров» были зарегистрированы жалобы некоторых пользователей на тот факт, что в «инструментах для веб-мастеров» обнаружились уведомления о блокировки URL отдельных страниц алгоритмом Google.

В процессе проверки специалистами выяснилось, что в отчете содержались данные о блокировки веб-страниц, закрытых ранее в robots.txt. Несмотря на то, что большинство этих страниц было удалено веб-мастерами, в отчетах они значатся как «заблокированные алгоритмом».

По словам представителя интернет-гиганта Google Д. Мюллера (John Mueller), ситуация связана с тем, что поисковый робот анализирует подобную манипуляцию, как будто такие страницы «выпали» из индекса в определенный момент времени. Затем он повторно их проиндексировал, поэтому произошла накладка. В целом это никак не повлияет на ранжирование сайта, но в ближайшее время трудно ожидать существенного уменьшения количества таких уведомлений. Это техническая особенность алгоритма поисковика, которую следует учитывать в работе.