Ускорение индексации сайта

С проблемой индексации сайта часто сталкиваются вебмастера, работающие над развитием ресурса. Особенно медленная индексация у новых сайтов – роботы могут заходить на сайт, но упорно не индексировать отдельные его страницы и даже разделы. Почему важна быстрая индексация, думаю, говорить не требуется: здесь и вопрос первоисточника, и получения более быстрых результатов, и благосклонность к сайту со стороны поисковых систем.

Яндекс и Google по-разному решают вопрос индексации, поэтому мы и рассмотрим их отдельно.

Быстрая индексация страниц сайта в Google

В Google вопрос быстрой индексации отдельной страницы сайта решается очень просто: совсем недавно в панели вебмастеров Google Webmaster Tool появился специальный инструмент, позволяющий включить в индекс любую страницу и связанные с ней url-адреса буквально за считанные минуты.

Для этого сайт должен быть добавлен в панель вебмастера Google. Заходим в раздел Сканирование - > Посмотреть как Googlebot, вводим нужный url (часть без названия сайта) и нажимаем кнопку «Сканировать». Выбираем сканировать нам только данный url или связанные с ним также. Можно также позвать робота для мобильных устройств. Далее нажимаем кнопку «Добавить в индекс», после чего появится надпись «URL отправлен на индексирования».

Через пару минут можно проверять его наличие в индексе Google. На этой же вкладке можно посмотреть полные данные по процессу сканирования для каждого введенного адреса и даже время загрузки страницы. В общем, с Google все удобно и быстро!

Единственный минус – использование этого инструмента не позволит вам добиться того, чтобы робот сам чаще заходил на ваш сайт, поэтому придется вручную вбивать каждый адрес, если хотите, чтобы он быстро появлялся в индексе.

Индексация страниц сайта в Яндекс

С поисковой системой Яндекс ситуация намного сложнее, так как таких инструментов ускорения сканирования отдельного url здесь нет. Официальная позиция Яндекса по ускорению индексации касается только внутренней технически грамотной настройки сайта:

• Исключение из индексирования ненужных страниц сайта через robots.txt: формы обратной связи, страницы результатов поиска, страницы для печати и пр.
• Указание в файле Sitemap.xml информации о страницах, которые нужно индексировать и как часто они изменяются.
• Создать карту сайта sitemap.html с указанием ссылок на все страницы сайта и документы.
• Настроить сервер для ответа корректных HTTP заголовков? Для работающих страниц – код 200, для страниц с ошибками - 404.

Однако такие советы лишь позволяют корректно индексировать нужную информацию на сайте, но никоим образом не ускоряют ее и не позволяют чаще привлекать роботов на свой сайт. Поэтому вебмастера путем тестирования разных методов вывели свои способы, с помощью которых можно повлиять на скорость индексирования страниц сайта в Яндекс.

1. Воспользоваться формой добавления сайта для индексирования отдельного url (инструмент «Сообщить о новом сайте»).
2. Использовать расшаривание статей в социальных сетях. Получение большого числа социальных сигналов сразу после публикации материала позволяет быстро проиндексировать ее. Для этого нужно, во-первых, самостоятельно анонсировать статьи в своих аккаунтах в социальных сетях (чем больше у вас подписчиков и чем более интересная статья, тем больше вероятность получить много бесплатных ее расшариваний), а во-вторых, иметь кнопки для шаринга в популярных социальных сетях на самой странице сайта.
3. Частая публикация информации. Давно замечено, что чем чаще появляются на сайте новые материалы, тем быстрее они появляются в индексе. Стоит посмотреть хотя бы на новостные сайты: кажется, робот с них даже не выходит!
4. Внутренняя перелинковка. Она помогает как индексировать новые материалы, так и не позволять исключаться из индекса старым. Ускорить индексацию нового материала поможет ссылка на него с главной страницы сайта.
5. Внешние сигналы ссылками. Это могут быть в первую очередь сервисы вопросов ответов, закладок, RSS-лента и даже биржи ссылок.
6. Грамотная организация меню и структуры сайта. Очень важно, чтобы робот мог беспрепятственно попасть на нужную страницу. Для этого лучше всего делать материалы не дальше чем в 3 кликах от главной страницы.
7. Использовать пинг-сервисы. Если через них отправить сигнал, то они также будут замечены поисковыми системами и если те увидят надобность в его индексации, отправят для этих целей своего робота.

Все эти способы требуют время, поэтому задумайтесь, что для вас приоритетнее. В целом, все они рабочие, но сказать, что более действенно, сложно, так как многое зависит от самого сайта.