Индексация сайта: почему страниц нет в поиске

Есть ситуация, которая выбивает из колеи сильнее всего: сайт сделан, страницы открываются, знакомые говорят «нормально выглядит» — а заявок из поиска нет. И в поиске самого сайта тоже нет. Владелец в такой момент обычно начинает переписывать тексты, хотя тексты тут вообще ни при чём.

В нашем семантическом разборе «индексация сайта» — около 950 запросов в месяц, «проверить индексацию сайта» — примерно 200, «индексация сайта в Яндексе» — около 160, «переобход страниц Яндекс» — ещё порядка сотни. Запросы раздроблены по формулировкам, но интерес устойчивый: люди ищут не теорию, а ответ на вопрос «почему меня не видно».

Как устроена индексация

Процесс состоит из трёх шагов, и полезно держать их в голове по отдельности — потому что ломается обычно какой-то один.

• Обход. Робот поисковой системы приходит на сайт и переходит по ссылкам, собирая адреса страниц. Начинается всё с главной и с карты сайта, дальше — по внутренним ссылкам.
• Обработка. Робот читает содержимое страницы, её заголовки, текст, служебные метки. Здесь же он решает, не дубль ли это уже известной страницы.
• Попадание в базу. Страница добавляется в поисковый индекс и может участвовать в выдаче. До этого момента она не показывается ни по одному запросу.

Важное следствие: «сайт в поиске» и «сайт в индексе» — не одно и то же. Владелец видит главную страницу в выдаче по названию компании и думает, что всё в порядке. А страницы услуг при этом могут быть не проиндексированы вообще.

Почему страницы не попадают в индекс

Причины почти всегда технические, и проверяются они за один вечер. Перечислю по частоте.

1. Сайт закрыт от обхода. В файле для роботов может стоять запрет на весь сайт — типичный след переноса с тестовой копии. Как это выглядит и как проверить, разбирали в статье «Robots.txt и Sitemap».
2. Страница закрыта от индексации меткой. В настройках страницы может стоять запрет «не индексировать». Иногда её включают на время разработки и забывают снять. Внешне страница выглядит абсолютно нормально.
3. На страницу нигде нет ссылок. Если адрес не указан ни в меню, ни в тексте других страниц, ни в карте сайта, робот может просто не узнать о её существовании. Это частая история с новыми разделами услуг.
4. Страница отдаёт ошибку. Вместо содержимого — «страница не найдена» или ошибка сервера. Робот фиксирует проблему и не индексирует адрес. Что делать с такими адресами — в статье «Ошибка 404».
5. Сайт новый и молодой. У свежего сайта поиск обходит страницы реже и осторожнее. Это не поломка: доверие к сайту растёт вместе с его историей и содержимым.
6. Содержимое страницы скрыто за скриптами. Если текст подгружается только в браузере, робот может увидеть пустую страницу. Содержимое должно быть в самом коде страницы.

Как проверить индексацию: пошагово

Проверка занимает минут двадцать и не требует навыков программирования. Делать её стоит для конкретных важных страниц — тех, что приносят заявки.

1. Возьмите три-четыре ключевые страницы услуг. Не главную, а именно те, где описан товар или услуга, за которой к вам приходят.
2. Проверьте каждую через поиск по адресу. Скопируйте адрес страницы и вставьте его в строку поиска — есть оператор, который ищет по конкретному адресу. Если страница найдена, она в индексе.
3. Посмотрите раздел индексации в Вебмастере. Он показывает, сколько страниц в поиске, сколько исключено и по каким причинам. Как подключить и настроить этот инструмент — в статье «Зачем подключать сайт к Яндекс Вебмастеру».
4. Сверьте число с реальностью. Если на сайте тридцать страниц, а в индексе три — вопрос не в текстах, а в технической части. Если в индексе все тридцать — можно заниматься содержанием.
5. Запросите переобход проблемных адресов. Если страница готова, но её ещё нет в поиске, ей можно помочь: попросить поиск зайти повторно.

Как ускорить попадание в поиск

Ускорить — не значит «заставить». Повлиять на срок можно, но обещать «в индекс за час» никто честно не может. Что реально работает:

• Ссылки с уже проиндексированных страниц. Самый простой способ показать поиску новый адрес — поставить на него ссылку из текста или меню. Про связи между страницами у нас есть отдельная статья — «Перелинковка сайта».
• Карта сайта. Файл со списком адресов помогает найти страницы, на которые ещё не успели поставить ссылки.
• Переобход через Вебмастер. Для важных адресов это самый быстрый путь, но злоупотреблять не стоит: если просить переобход десятками страниц каждый день, смысл теряется.
• Регулярные обновления. Сайт, который время от времени меняется и растёт, поиск обходит чаще. Сайт, застывший два года назад, обходят всё реже.

Что делать прямо сейчас

Проверьте свои ключевые страницы по адресу в поиске. Если они в индексе — займитесь содержанием и структурой, об этом есть материалы «Структура сайта» и «Как сделать аудит сайта самому». Если нет — сначала снимите технические запреты, потом уже всё остальное. Порядок действий тут важнее старания: индексируемая страница со средним текстом приносит заявки, а идеальная невидимая — нет.

Частые вопросы

Сколько ждать, пока новая страница попадёт в поиск?

От нескольких дней до месяца, и это нормальный разброс. На молодом сайте срок ближе к верхней границе, на сайте с историей и частыми обновлениями — к нижней. Если прошло два месяца, а страницы в поиске нет, стоит проверить причины из списка выше, а не ждать дальше.

Если я заплатил за переобход, страница попадёт в индекс гарантированно?

Нет. Переобход — это просьба зайти повторно, а не обещание проиндексировать. Если на странице технический запрет или вместо содержимого ошибка, повторный заход ничего не изменит. Сначала устраняют причину, потом просят переобход.

Почему главная в поиске есть, а страниц услуг нет?

Потому что главную поиск видит всегда — на неё ведут ссылки и она первая в обходе. А внутренние страницы попадают в индекс только если на них есть ссылки и нет запретов. Частая причина — раздел услуг собран скриптами или на страницу просто нигде не ссылаются.

Нужно ли проверять индексацию регулярно?

Достаточно раз в месяц пробегаться по ключевым страницам и раз в квартал смотреть общий раздел индексации в Вебмастере. Главное — проверять сразу после крупных правок: смены адресов, переезда на другой движок или перезаливки сайта, потому что именно там чаще всего появляются запреты.