После того, как работы над созданием сайта завершены. Странички содержат уникальные сведения, оригинальный фотоконтент и видеоматериалы, навигация понятная, а дизайн не мешает пользователям, разработчику остается только презентовать ресурс читателям. Но перед тем, как это произойдет, портал нужно показать поисковым ресурсам. Знакомство сайта с поисковиками называется индексацией.
Она подразумевает, что поисковая система не только знает о существовании определенного ресурса, но и занесла содержимое страниц в свою базу данных. Проведение индексации дает гарантию в получении информации с сайта поисковыми системами, но не дает никаких гарантий, что эти сведения отобразятся в поиске. Выдача будет формироваться из баз данных поисковика, включая все проиндексированные ресурсы. Если сайт не индексируется, его не смогут увидеть пользователи.
Существует несколько причин, почему не индексируются страницы сайта в Яндекс-поиске или Google.
Поисковые системы не успели проиндексировать сайт
Такое может случиться с сайтом-новичком. Яндекс и Google периодически запускают в выдачу новые сайты для идентификации их пользователями. Если ресурс понравится зрителям, он продолжит появляться в выдаче. Если нет, расти придется долго.
Чтобы использовать все возможности поисковиков, нужно добавить ресурс в Addurl и панели web-мастеров поисковых систем. После этих простых манипуляций сайт попадет в индекс от пары часов до 4 дней.
Сайт закрыт от индексации в robots.txt
CMS-движок – тот фактор, который больше всего влияет на скорость индексации. Во время работы над ресурсом важно прописывать краулерам путь к тем страничками, которые должны отображаться в выдаче.
Если этого не сделать, робот-поисковик начнет проверять файлы движка или разделы, которые не планируется продвигать. robots.txt нужен, чтобы скрыть мусорные страницы, технические разделы сайта и другую не нужную информацию от поискового робота.
Фото 1. Проблемы в robots.txt
Чтобы определить эту причину, нужно проверить настройки сайта. Если на всех страницах есть тег
<meta name=’robots’ content=’noindex,nofollow’/>,
ошибка в неправильной работе текстового файла robots.txt.
Если хотите индексировать весь сайт, в том числе техническую часть, создайте файл robots.txt с правилом, разрешающим индексировать всё:
User-agent: *
Disallow:
Если есть ограничения, пропишите в файле, а затем снова загрузите в корень сайта с помощью FTP-клиента.
Поисковые боты заблокированы в .htaccess
Этот документ нужен для блокировки поисковых роботов, обеспечивающих лишнюю нагрузку на CPU ресурса и ухудшающих индексирование. Неопытные мастера ставят команду, запрещающую индексацию всего сайта.
Фото 2. .htaccess
Для решения проблемы, нужно подтвердить причину. Сначала ищем на сервере документ .htaccess, затем смотрим закрыт ли сайт.
Использование HTTP-заголовка X-Robots-Tag
Этот вариант ограничивает индексацию в Google. Проблему обнаружить сложно, так как невозможно определить внутри кода. Нужно смотреть заголовки на сервере.
Для проверки нужно использовать плагин Web Developer: Chrome, FireFox. Или http://tools.seobook.com/server-header-checker/
Индексация запрещено мета-тегом noindex
Тегом <noindex> обозначаются фрагменты, которые запрещено индексировать в Яндексе.
Для закрытия части текста, его оборачивают мета-тегами:
<noindex>текст, спрятанный от индексации</noindex>
Иногда webmaster сигнализирует о том, что конкретная страница или сайт не индексируется в Яндексе. Такое может произойти, если при создании сайта на период работ использовалась настройка «Попросить поисковые системы не индексировать сайт». Или при использовании seo-плагина Yoast Seo и др. с настройками по запрету индексации. В обоих случаях функционал нужно отменить.
Проблемы с JavaScript/AJAX
Поисковая система Google индексирует AJAX и JavaScript. Гугл не индексирует сайт, если неправильно провести их настройку.
Настройки приватности для доступа к сайту
При использовании готовой CMS, нужно обязательно проверить приватность настроек. Неопытные мастера могут использовать установки «по умолчанию». Они – причина по которой, не индексируется сайт в поисковиках.
К примеру, если используется WordPress, нужно зайти в раздел настроек «Чтение» и выбрать функцию видимости для поисковых систем. Уберите галочку напротив «Попросить поисковые машины не индексировать сайт».
Фото 3. Уберите галочку
При использовании другой CMS, рекомендуем проверить отсутствие подобной опции.
Много дублированного и неуникального контента
Еще одна проблема не индексации ресурса поисковиками. Дублироваться могут отдельные разделы или мета-теги. При избыточном количестве подобных материалов Google Panda введет санкции. В результате сайт не индексируется поисковыми системами.
Если таких материалов в избытке, закройте лишнюю информацию от индекса с помощью
meta name=«robots» content=«noindex, nofollow»
или попробуйте прописать им 301 редирект. Иначе роботы исключат из выдачи дублируемые материалы.
Кроме того, уделить больше внимания составлению контента и качеству материалов. Переспамные тексты также отправляются в бан. Используйте LSI-копирайтинг, полностью раскрывайте тему, заменяйте повторяющиеся сочетания синонимами. При таком подходе сайт будет появляться в поисковой выдаче.
Не стабильная работа хостинга
Если портал не работает в момент проверки поисковыми роботами, сайт не будет индексироваться. Хостиг должен быть стабилен, а up time – хороший.
Существует несколько сервисов, позволяющих контролировать качество работы хостинга. В Я.Метрике есть бесплатная функция оповещений, срабатывающая при проблемах в доступности сайта.
Медленная загрузка страниц
Чтобы сайт попал в поисковики, он должен загружаться за 2-3 секунды.
Фото 4. Медленная загрузка
Если после нескольких попыток, страница не отреагирует, робот не сможет определить, что добавить в индекс. Проверьте скорость загрузки интернет-ресурса и хостинг. Низкое качество последнее тормозит работу системы.
Ошибки сканирования
При возникновении большого числа ошибок во время сканирования, не индексируется сайт в Google. Причина в том, что поисковый робот не доберется до нужных страниц.
Фото 5. Google Webmaster Tools
Для проверки наличия ошибок зайдите в Google Webmaster Tools и просканируйте сайт с помощью кнопки «Просмотреть как Googlebot». По завершении процесса сравните результаты проверки Google с тем, что должен увидеть посетитель. Все изображения должны быть идентичны.
Если есть различия, ищите и устраняйте ошибки.
Плохая история домена
При выборе ранее использованного доменного имени, будьте готовы к неожиданностям. Бывший владелец мог использовать серые и черные методы продвижения, что спровоцировало санкции со стороны поисковиков.
Чтобы исправить ошибки, отправьте запросы о пересмотре решения и уточните причину почему Google или Яндекс не индексирует сайт.
Если по прошествии трех месяцев сайт по-прежнему не индексируется, рекомендуем заменить домен или попробовать еще раз уточнить причину введения санкций.
Работа сайта без нормальной индексации бессмысленна. Ваша задача – определить неисправность и устранить. Через некоторое время после проведения всех манипуляций, нужно перепроверить индексацию. При нестабильной работе сайта смело пишите в поддержку Яндекс и Google.