Если страница не появляется в поиске, сначала отделите три ситуации: робот ещё не обнаружил URL, обнаружил, но не может обойти, или обошёл и решил не включать в индекс. Для каждой причины нужен свой способ исправления.
Проверьте техническую доступность
URL должен отдавать код 200 и открываться без авторизации. Проверьте robots.txt, мета-тег robots и заголовок X-Robots-Tag. Убедитесь, что canonical указывает на эту страницу либо на действительно основную версию. Ошибка, когда все canonical ведут на главную, фактически просит поисковик игнорировать вложенные страницы.
Проверьте редиректы, циклы, ошибки 5xx и стабильность сервера. Если контент появляется только после выполнения сложного JavaScript, убедитесь, что важный текст и ссылки доступны роботу. Карта сайта помогает обнаружению, но не заставляет индексировать слабый URL.
Найдите дубли
Один материал может открываться с параметрами, разным регистром, слешем и без него, через HTTP и HTTPS. Выберите основную версию, настройте 301‑редиректы и согласуйте canonical. Не используйте запрет в robots.txt как замену управлению дублями: робот не увидит мета-инструкции на закрытой странице.
Оцените качество и назначение
Страница может быть технически идеальной, но не давать самостоятельной ценности. Типичные примеры — пустая категория, фильтр без товаров, геостраница с заменённым городом и статья, повторяющая соседний материал. Добавьте факты, примеры, изображения, автора, дату обновления и ясный ответ на запрос либо объедините дублирующие URL.
| Симптом | Где искать |
|---|---|
| URL не известен роботу | ссылки, sitemap, Вебмастер |
| обход запрещён | robots.txt, robots, доступ |
| выбрана другая каноническая | canonical и дубли |
| обойдена, но не в индексе | качество, интент, повторение |
После исправления отправьте важный URL на переобход и дождитесь повторной обработки. Не делайте десять изменений одновременно: фиксируйте дату, чтобы понимать, что помогло.
FAQ
Сколько ждать индексацию?
Единого срока нет. Важные хорошо связанные страницы обычно обнаруживаются быстрее, но решение зависит от сайта и качества URL.
Поможет ли ручная отправка на переобход?
Она ускоряет обнаружение изменений, но не отменяет технические запреты и оценку качества.
Нужно ли добавлять каждую страницу в sitemap?
В карту включают канонические URL, которые должны индексироваться. Служебные фильтры и дубли туда не добавляют.