Как Google индексирует сайты
Как Google индексирует сайтыКак Google индексирует сайтыНа блогах и форумах часто можно увидеть вопросы «Как Google индексирует сайты?» и «Почему страницы моего сайта не индексируется Гуглом?». И я постараюсь ответить вам на вопрос, как Google индексирует сайты.
Начнем с того, что индексацию сайта производят так называемые поисковые роботы или БОТы. Поисковый робот – это программа, установленная на сервере поисковой системы и задачей которой является индексация всех страниц сайта и внесение их в базу данных.
Поисковая система Google использует 3 таких робота:
- Freshbot – этот поисковый робот сканирует самые популярные станицы вашего сайта. В среднем Freshbot посещает сайты в пределах от 1 до 14 дней, это от посещаемости страниц и частоты их обновления. Известно, что такие сайты как Amazon.com и CNN.com он посещает каждые 10 минут. Такое частое посещение поисковым роботом этих сайтов связано с их огромной популярностью и с тем, что эти сайты обновляются почти каждую минуту. Кроме индексации самых популярных страниц в задачу Freshbot входит сканирование всех ссылок сайта, включая все уровни вложенности, и занесение их в бузу данных для дальнейшего их сканирования роботом DeepCrawl.
- DeepCrawl проходит по всем ссылкам найденным Freshbot и добавляет их в свой индекс. DeepCrawl посещает сайты 1 раз в месяц и именно с этим связаны задержки с индексацией. Наберитесь терпения и ваш сайт обязательно будет добавлен в индексацию.
- Adsensebot. Как видно из названия этот поисковый робот для страниц транслирующих контекстную рекламу Google Adsense. При установки на страницу, скрипт Adsense посылает сообщение на Adsensebot, который приходит на сайт в течении 15 минут, и сканирует страницу с целью определения наиболее релевантных рекламных объявлений.
Желаю вам, чтобы поисковые боты посещали ваши сайты постоянно.
Спасибо за внимание, оставляйте комментарии, подписывайтесь на RSS.
Спасибо за пост, весьма интересно. Я согласен с предыдущим комментарием.
Добавлю от себя, что индексация гуглом идет быстрее если поставить гугд адсенз. проверено личным опытом. подробная инфа есть на моем сайте
В последнее время Гугловскйи робот не индексирует сайт сразу, а каждый день заходит на новый, например, сайт и добавляет в индекс по чуть-чуть, по 5-10 страниц. Очень странный метод у него индексации.
в последнее время google вообще как то скромно стал индексировать страницы. По себе чую.
В yandex сайты влетают полностью за максимум 2 недели (3-4 up) а вот google индексируем 200 страниц и все тут, а на сайте 5000 страниц.
И sitemap есть и карта сайта есть, и все линки не дальше третьего уровня и AdSence на каждой странице – но не индексирует более 200 страниц вот хоть ты убей.
Начал тут эксперимент делать, один раз в сутки меняю 10 ссылок с главной страницы посмотрю что получится
У меня на сайте выше 5000 страниц, но в индекс попали всего 130, а не под фильтром 16, смешно, Яндекс РУЛИТ!!!
Думаю со временем ситуация изменится. Просто Яндекс еще не успел обойти весь сайт.
Имею проблемы с индексированием нескольких своих сайтов, домены дроп, попробую поработать по предлагаемой схеме, посмотрим что получится