Cтраница не индексируется - как исправить?

Наличие страниц, которые не индексируются поисковыми машинами, может вызвать сложности даже у авторитетных сайтов. При этом единства в мнении среди веб-мастеров по вопросу их удаления нет. 

Джон Мюллер предложен рекомендации для эффективного удаления неиндексируемых странице при ошибке «Discovered Currently Not Indexed». Советы опираются на особенностях работы автоматизированных алгоритмов.

Проверка индексации 

Существует несколько способов проверки индексации сайта в Google:

• 1. Использование Google Search Console:
•    - Зарегистрируйтесь в Google Search Console и добавьте свой сайт. После этого вы сможете увидеть отчеты о том, какие страницы вашего сайта проиндексированы Google, а также получать уведомления о проблемах с индексацией.
• 2. Поиск по URL:
•    - Введите "site:ваш_домен" (без кавычек) в поисковой строке Google. Это позволит увидеть список всех страниц вашего сайта, которые проиндексированы Google.
• 3. Анализ журналов сервера:
•    - Просмотрите журналы сервера, чтобы увидеть запросы от поисковых роботов Googlebot. Это позволит узнать, какие страницы были посещены и проиндексированы.
• 4. Использование команды "cache":
•    - Введите "cache:ваш_домен/страница" (без кавычек) в поисковой строке Google. Это покажет последнюю закешированную версию страницы в поиске Google.
• 5. Сервисы проверки индексации:
•    - Существуют сторонние сервисы, которые могут помочь вам проверить индексацию вашего сайта в Google, предоставляя дополнительные данные и аналитику.
• Эти методы помогут вам узнать, какие страницы вашего сайта проиндексированы в Google, и следить за индексацией в дальнейшем.

Ошибка «Discovered Currently Not Indexed».

Для контроля проблем на страницах сайта, связанных с видимостью в поисковой выдаче, Google предлагает использовать использовать Search Console. В отчетах этого инструмента статус индексации - ключевой показатель. С его помощью можно отследить, сколько страниц в индексе, какой трафик они приносят, а сколько просто находится в базе данных ресурса и никак не влияет на посещаемость. 

Сообщение от Search Console об обнаружении не проиндексированной страницы уже можно назвать поводом для принятия мер. Однако причин, отсутствия в индексе множество. 

• Проблемы с качеством контента: Низкое качество контента, дубликаты, недостаточное количество текста или неуникальный контент могут привести к игнорированию страниц поисковыми системами.
• Ошибки в файле robots.txt: Неправильная конфигурация файла robots.txt может препятствовать индексации страниц.
• Проблемы с мета-тегами: Отсутствие или неправильное использование мета-тегов, таких как мета-тег "robots" или "noindex", может привести к исключению страниц из индекса.
• Технические проблемы: Недоступность страницы для сканирования поисковыми роботами из-за ошибок сервера, проблем с HTTPS-сертификатом или другими техническими неполадками.
• Недостаточная внутренняя ссылочная структура: Если страница плохо связана с другими страницами сайта, это может затруднить ее индексацию.
• Слишком новая страница: Новые страницы могут потребовать времени для индексации поисковыми системами.
• Дублирование контента: Если содержимое страницы существует в нескольких местах на сайте или в Интернете, это может привести к ее исключению из индекса.
• Спам или нарушения правил: Наличие спама, скрытого текста или других нарушений правил поисковых систем может привести к блокировке страницы.

Удаление страниц не попавших в индекс

Среди вебмастеров есть мнение, что удаление некоторых страниц может улучшения показателей сканирования. В профессиональной сфере есть такое понятие, как краулинговый бюджет. Под этим термином понимается лимит на сканирование при посещении ботов сайта. Однако официальная позиция Google проста - краулингового бюджета не существует. Объемы сканируемых за одно посещение страниц определяются лишь параметрами сервера (а также рядом внутренних факторов, которые держатся в тайне).

Также важно понимать, что даже Google с его мощностями не может хранить каждую страницу в Интернете. Обычно индексацию проходят страницы, обладающие ценностью для пользователей.

Дополнение контента 

Этот способ актуален для крупных маркетплейсов, интернет-магазинов. Если создается отдельная карточка с товарами под каждую спецификацию, в результате получится большое количество клонов с максимально схожим описанием. Если объединять их в единую карточку с возможностью выбора параметра (по цвету, размеру, производителю), это позволит сократить объем схожих страниц. 

Джон Мюллер в этом вопросе приводит следующие рекомендации:

Уплотнение страниц сайта не приводит к улучшению индексации. Однако важно учитывать, как это сказывается на качестве подачи информации. Если оно повышается, уплотнение позволяет улучшить впечатление поисковых ботов, а значит, положительно скажется на индексации.  

Оптимизация сайта до индексации

При работе над коммерческими проектами следует особое внимание уделять каждому компоненту страницы. В ходе их индексации поисковые системы могут быть особенно придирчивы к нюансам.

Главное меню

Важные разделы ресурса должны в обязательном порядке присутствовать в главном меню. Это положительно сказывается на юзабилити и пользовательском опыте. В некоторых случаях в меню могут располагаться и ссылки, ведущие на ключевые материалы.

Система внутренней перелинковки

Не стоит пренебрегать организацией внутренних связей между страницами сайта с помощью перелинковки. Важно подбирать ссылки на материалы, релевантные содержащему на странице контенту. Это позволит пользователям получить больше информации, а также положительно скажется на поведенческом факторе.

Тонкий контент

Под этим термином понимаются страницы с минимальным объемом полезной страницы. Сейчас недостаточно просто разместить небольшое количество данных. Если речь идет, например, о странице “Контакты”, здесь недостаточно просто опубликовать адрес и номер телефона. Можно добавить краткую информацию о компании или превью команды. Тонкий контент важно расширять, однако важно, чтобы материал оставался полезным.

Как не индексируемые страницы влияют на продажи

Недостаточно просто создать интернет-магазин и ждать наплыва покупателей. В настоящее время без продвижения не обойтись. Если страница не будет в индексе, то и большого объема продаж от нее ждать бесполезно. Опытный веб-мастер поможет попасть в индекс. При публикации ценного для пользователей контента можно повысить свои позиции в органической выдачи. Не забудьте проверить:

• Проверьте файл robots.txt: Убедитесь, что файл robots.txt настроен правильно для разрешения индексации нужных страниц поисковыми системами.
• Анализ контента: Проверьте качество контента на сайте КасперСистемс. Убедитесь, что текст информативный, уникальный и соответствует запросам пользователей.
• Мета-теги: Проверьте мета-теги на страницах сайта, чтобы убедиться, что они правильно используются для указания поисковым системам, что страницы должны быть проиндексированы.
• Технические аспекты: Проверьте технические аспекты сайта, такие как скорость загрузки страниц, наличие ошибок сервера и правильная настройка HTTPS-сертификата.
• Внутренняя ссылочная структура: Убедитесь, что страницы сайта связаны между собой эффективно через внутренние ссылки.
• Дублирование контента: Проверьте наличие дублирующего контента на сайте.
• Проверка на спам и нарушения правил: Убедитесь, что на сайте отсутствует спам и другие нарушения правил поисковых систем.