Без долгих предисловий: индексацией сайта называется наличие его страниц в актуальной базе поисковых систем. Трудолюбивыми ботами, снующими со страницы на страницу, индексируется и оценивается решительно всё: картинки и видео, ссылки и тексты, мета-теги и другие элементы сайта, не закрытые от индексации вручную.
Зачем это нужно, как это происходит… и почему не происходит?
Индексация – это прямой путь в выдачу, проще — это ваш путь в Интернет. Без индексации ваша целевая аудитория никогда не узнает о том, кто вы, что предлагаете, что хотите сказать и что у вас вообще есть сайт.
Но работающие в вакууме собственного гения вебмастера частенько сталкивается с тем, что готовый сайт не индексируется неделями. Упорно стараясь обойтись без совета SEO-специалиста — без его мнения, вдумчивого аудита и рекомендаций.
Да, проблема игнорирования сайта поисковиками существует. Чаще подобная ситуация возникает в Яндексе, где новые страницы актуализируются дольше, чем в вездесущем Google. Да и апдейты пару раз в месяц для Яндекса – нормальная практика. Рыщущий в сети поисковый бот за одно посещение отрабатывает заложенную поисковиком квоту, индексируя ограниченное количество страниц. Таким образом, даже состоявшийся визит поискового робота по конкретному адресу не гарантирует индексацию всех страниц сайта, особенно измененных или вновь появившихся – а это крайне важно.
Специалист для выявления проблем, конечно же, посмотрит многое, в том числе настройки и корректность занесения SEO-информации (скриншот одной из популярных CRM):
настройки индексации для статических страниц:
и другие параметры сайта:
На частоте индексирования сказывается ряд объективных (отчасти неподвластных вебмастеру) факторов:
-
качество используемого хостинга. Скажем прямо, у поисковых ботов есть что-то внутреннего техрайдера, и если характеристики сервера ему не соответствуют, повторный визит случится нескоро;
-
частота качественного обновления контента. Тут все просто: боты поисковиков любят «свеженинку», а зафиксированная ими частота обновления вашего сайта качественно написанными статьями и новостями, видео, фото и пр. регламентирует частоту их посещений впоследствии;
-
интерес к сайту посетителей сети. Да-да, пресловутые поведенческие факторы. Добавление в закладки, расшаривание материалов сайта в соцсети, путешествия по внутренней перелинковке и значительное время, проведенное посетителями на страницах веб-ресурса, могут заставить робота запланировать внеочередной визит на ваш сайт.
Есть и другие факторы. Например, возраст домена напрямую определяет скорость индексации: авторитеты (трастовые) отрабатываются поисковыми ботами быстрее, чем неофиты. Хотя это небесспорно, считают некоторые наши коллеги.
Чаще, больше, быстрее
Наконец, о главном. Что и как можно использовать для улучшения индексации:
-
анонсируйте публикации сайта в соцсфере – большое количество социальных сигналов привлечет внимание ботов. И да, кнопки шеринга (хотя бы для топовых соцсетей) сегодня уже просто must have;
-
используйте функцию отложенной публикации для придания постингу столь любимой ботами поисковиков регулярности;
-
займитесь уже внутренней перелинковкой – она позволит боту индексировать новые статьи, не упуская старые. Ссылка на главную – это святое;
-
внешние ссылки и пинг-сервисы станут чем-то вроде дружеского пинка для прозевавшего ваш сайт поискового робота.
Кто виноват и что делать…
… если поисковик упорно не индексирует ваш сайт? С полпинка определить причину не выйдет (их тысячи) – коррекции может потребовать кодировка, коды отдачи сервера, непосредственно файл robots.txt или даже ваша политика продвижения в сети (агрессивных методов поисковики не оценят, забрасывая ресурс в черный список/в вечный бан).
Однозначно можно сказать: исключительно вежливое и осторожное привлечение ботов для индексации – это куда проще, чем выведения сайта из-под вполне реальных санкций: рука и у Google, и у Яндекса может быть очень тяжелой.
И чтобы не затягивать послесловие, скажем: вы можете попытаться разобраться с имеющимися проблемами самостоятельно. Начните с челобитных посланий по адресам банхаммеров. Хотя... Почему бы вам не позвонить специалистам «ВебПроектов»? Это значительно сэкономит ваш ресурс: помните, что для легального привлечения бота к вашему сайту времени понадобится много. Не откладывайте.