Индексирование сайта поисковыми системами

С момента создания проходит определённое количество времени перед тем, как сайт замечают поисковые системы, начав его активно индексировать.

Мы расскажем о поведении различных поисковых систем на сайтах. Изучать их алгоритмы, довольно интересно, особенно когда много о поисковых системах читаешь.

Получается своего рода практика, которая постоянно сопоставляется теории, что позволяет делать новые интересные выводы о том, как же проходит сам процесс индексирования и ранжирования документов в разных поисковых системах.

Мы думаем, логично рассказывать появление поисковых систем в хронологическом порядке.

GOOGLE

Первым сайт посещает Google, проиндексировав все страницы сайта. У Google самая быстрая индексация новых сайтов.

Помимо подачи заявки на добавление сайта в интерфейсе веб-мастеров Google, одновременно иногда ставят прямую ссылку с главной страницы для надёжности процесса индексации. Примерно через неделю-две сайт появится в индексе этой поисковой системы.

ОСОБЕННОСТИ ИНДЕКСАЦИИ САЙТОВ ЭТОЙ ПОИСКОВОЙ СИСТЕМОЙ

Робот посещает сайты реже, чем это делают наши “отечественные” поисковые роботы. Было замечено, что Googlebot приходит не чаще, чем раз в 3 дня (на проверку файла robots.txt приходит чаще), что, собственно, и отображается в Интерфейсе веб-мастеров Google.

Причём, каждый визит робота сопровождается кэшированием информации в хронологическом порядке. Этот хронологический порядок сохраняется при апдейтах поисковой выдачи системы.

Мы провели своего рода эксперимент: через определённые промежутки времени меняли заголовок Title. Удивительно то, что Google запомнил хронологию их изменения и выдавал с каждым апдейтом порядковые title (а также содержание самой страницы), присвоенные странице в разные промежутки времени.

Также была замечена ещё одна особенность Google: один раз мы забыли по какой-то причине упомянуть запрет индексации одной из директорий сайта, что привело к её индексации.

Сколько бы мы не меняли текст в robots.txt данная директория не исчезала из результатов поиска. Единственный действенный метод удаления ненужных проиндексированных страниц находится в центре веб-мастеров Google, чем мы и воспользовались.

ЯНДЕКС

С индексацией в поисковой системе Яндекс бывает гораздо сложнее. Форма добавления ресурса на сайте Яндекса хоть и бывает заполнена в тот же день, что и форма Google, однако сайт в индексе не появляется (даже несмотря на наличие внешних ссылок на сайт).

Иногда проблему помогает решить простая и в то же время эффективная вещь: добавление RSS-ленты в сервисе blogs.yandex.ru

Сначала приходит робот-индексатор rss, а за ним, как по цепочке, основной индексирующий робот Yandex/1.01.001 (compatible; Win16; I).В следующий апдейт поисковой выдачи сайт уже бывает в индексе этой поисковой системы. Примерно после 3-х недель с момента запуска проекта.

КАК ВЕДЁТ СЕБЯ ЯНДЕКС НА САЙТЕ?

Робот почти каждый день в поисках новой информации, индексирует её, в последствии она отображается в списке проиндексированных страниц. Обновления раннее проиндексированных страниц сайта проходят реже, чем включения новых страниц на сайте.

Рамблер, третья по популярности в Рунете поисковая система. Индексация сайтов происходит довольно медленно. Рекомендуем добавлять проекты в Рамблер-Top 100. А также написать письмо в службу поддержки Рамблера о том, что домен является русскоязычным.

После включения сайта в индекс, робот Рамблера появляется на сайте почти каждый день по несколько раз. Каждое обновление страницы или добавление новой незамедлительно отражались в индексе на следующий день после добавления информации на сайт (проиндексированные страницы находились очень хорошо по тегу title).

Yahoo довольно быстро находит сайты, даже если не заполнять форму добавления ресурса. После публикации ресурса в Интернете сайты находят где-то через 3 недели.

Поисковая система появляется как правило довольно редко. Раз в 2 недели. Новые страницы исправно добавляются в индекс. Трафик с него очень мал.

Bing тоже сайты находит сам, без заполнения формы, по внешним ссылкам. Индексирует сайты редко, но в отличие от Yahoo, корректно это делал с первого раза. Трафик с него очень мал.

ТОП СЕРВИСОВ ДЛЯ ВЕБ АНАЛИТИКИ

ТОП 25 сервисов для веб аналитики для проверки технических параметров сайтов:

1. Я.Метрика (4),
2. Я.Вебмастер (3),
3. Key Collector (7),
4. Мозг, Руки + Знания, Трудолюбие, Упорство (1),
5. Screaming Frog (8),
6. Google Search Console (2),
7. Excel (Office 365) (9),
8. Я.WordStat (5),
9. Google Analytics (6),
10. Notepad++ (10),
11. Serpstat (12),
12. Google PageSpeed Insights,
13. Ahrefs (11),
14. Similarweb (13),
15. Arsenkin Tools (15),
16. Facebook (среда для коммуникаций) (16),
17. Topvisor (14),
18. Google Sheets (18),
19. Netpeak Checker & Spider (21),
20. Pixeltools (17),
21. Поисковые подсказки (27),
22. Google Tag Manager (GTM) (19),
23. Yandex Wordstat Assistant (20),
24. RDSbar (26),
25. KeyAssort (32).

Следующий шаг

Обсудим ваш проект

Посмотрим на сайт, текущую видимость и предложим понятный план дальнейших действий.

Заказать консультацию

Индексирование сайта поисковыми системами

Обсудим ваш проект

Session Watch Time

International Canonical: каноникал на другую языковую версию

Обзор лучших текстовых редакторов