Блог о SEO, создании сайта и заработке в интернете

Как Google индексирует сайтыКак Google индексирует сайтыНа блогах и форумах часто можно увидеть вопросы «Как Google индексирует сайты?» и «Почему страницы моего сайта не индексируется Гуглом?». И я постараюсь ответить вам на вопрос, как Google индексирует сайты.

Начнем с того, что индексацию сайта производят так называемые поисковые роботы или БОТы. Поисковый робот – это программа, установленная на сервере поисковой системы и задачей которой является индексация всех страниц сайта и внесение их в базу данных.

Поисковая система Google использует 3 таких робота:

1. Freshbot – этот поисковый робот сканирует самые популярные станицы вашего сайта. В среднем Freshbot посещает сайты в пределах от 1 до 14 дней, это от посещаемости страниц и частоты их обновления. Известно, что такие сайты как Amazon.com и CNN.com он посещает каждые 10 минут. Такое частое посещение поисковым роботом этих сайтов связано с их огромной популярностью и с тем, что эти сайты обновляются почти каждую минуту. Кроме индексации самых популярных страниц в задачу Freshbot входит сканирование всех ссылок сайта, включая все уровни вложенности, и занесение их в бузу данных для дальнейшего их сканирования роботом DeepCrawl.
2. DeepCrawl проходит по всем ссылкам найденным Freshbot и добавляет их в свой индекс. DeepCrawl посещает сайты 1 раз в месяц и именно с этим связаны задержки с индексацией. Наберитесь терпения и ваш сайт обязательно будет добавлен в индексацию.
3. Adsensebot. Как видно из названия этот поисковый робот для страниц транслирующих контекстную рекламу Google Adsense. При установки на страницу, скрипт Adsense посылает сообщение на Adsensebot, который приходит на сайт в течении 15 минут, и сканирует страницу с целью определения наиболее релевантных рекламных объявлений.

Желаю вам, чтобы поисковые боты посещали ваши сайты постоянно.

Спасибо за внимание, оставляйте комментарии, подписывайтесь на RSS.

Комментарии (7) на “Как Google индексирует сайты”