Как пишет Search Engine Roundtable, Google вполне может игнорировать *недокументированное использование* интернет-стандарта noindex в robots.txt. Применять или не применять функцию директивы noindex, поисковый алгоритм будет решать сам.
Встревоженные SEO-инженеры задали вопрос по использованию директивы Gary Ilsh, представителю компании Google. В его коротком ответе некоторые пользователи усмотрели нарушение важнейших правил функционирования интернета, а именно, что директива noindex больше не будет поддерживаться в robots.txt.
Факт отказа от директивы подтвердил и John Muller, гуру компании. Однако специалист в области SEO Marie Haynes утверждает, что директива по-прежнему хорошо работает. На что Gary Ilsh заявил, что вскоре такое положение дел изменится. Он объяснил пользователям, что для индексирования страниц применяются TDK — триада важнейших метатегов. А техническая информация файла robots.txt применяется лишь для сканирования сайта, и нет оснований использовать файл для индексации.
Одним словом, противоречивая информация только запутала пользователей. В итоге Gary Ilsh согласился, что, если директиву использует подавляющее число вебмастеров, то тогда необходимо более детально проанализировать ситуацию и еще раз обсудить это с руководителями подразделений Google.