Публикации

Индексирование сайта поисковыми системами


С момента создания проходит определённое количество времени перед тем, как сайт замечают поисковые системы, начав его активно индексировать.
Мы расскажем о поведении различных поисковых систем на сайтах. Изучать их алгоритмы, довольно интересно, особенно когда много о поисковых системах читаешь.
Получается своего рода практика, которая постоянно сопоставляется теории, что позволяет делать новые интересные выводы о том, как же проходит сам процесс индексирования и ранжирования документов в разных поисковых системах.
Мы думаем, логично рассказывать появление поисковых систем в хронологическом порядке.

Google

 

Первым сайт посещает Google, проиндексировав все страницы сайта. У Google самая быстрая индексация новых сайтов.
Помимо подачи заявки на добавление сайта в интерфейсе веб-мастеров Google, одновременно иногда ставят прямую ссылку с главной страницы для надёжности процесса индексации. Примерно через неделю-две сайт появится в индексе этой поисковой системы.
Вот что можно сказать об особенностях индексации сайтов этой поисковой системой:
Робот посещает сайты реже, чем это делают наши «отечественные» поисковые роботы. Было замечено, что Googlebot приходит не чаще, чем раз в 3 дня (на проверку файла robots.txt приходит чаще), что, собственно, и отображается в Интерфейсе веб-мастеров Google.
Причём, каждый визит робота сопровождается кэшированием информации в хронологическом порядке. Этот хронологический порядок сохраняется при апдейтах поисковой выдачи системы.
Мы провели своего рода эксперимент: через определённые промежутки времени меняли заголовок Title. Удивительно то, что Google запомнил хронологию их изменения и выдавал с каждым апдейтом порядковые title (а также содержание самой страницы), присвоенные странице в разные промежутки времени.
Также была замечена ещё одна особенность Google: один раз мы забыли по какой-то причине упомянуть запрет индексации одной из директорий сайта, что привело к её индексации. Сколько бы мы не меняли текст в robots.txt данная директория не исчезала из результатов поиска. Единственный действенный метод удаления ненужных проиндексированных страниц находится в центре веб-мастеров Google, чем мы и воспользовались.

Яндекс

 

С индексацией в поисковой системе  Яндекс бывает гораздо сложнее. Форма добавления ресурса на сайте Яндекса хоть и бывает заполнена в тот же день, что и форма Google, однако сайт в индексе не появляется (даже несмотря на наличие внешних ссылок на сайт).
Иногда проблему помогает решить простая и в то же время эффективная вещь: добавление RSS-ленты в сервисе blogs.yandex.ru
Сначала приходит робот-индексатор rss, а за ним, как по цепочке, основной индексирующий робот Yandex/1.01.001 (compatible; Win16; I).

В следующий апдейт поисковой выдачи сайт уже бывает в индексе этой поисковой системы. Примерно после 3-х недель с момента запуска проекта.

 

Как ведёт себя Яндекс на сайте?

 

Робот почти каждый день в поисках новой информации, индексирует её, в последствии она отображается в списке проиндексированных страниц. Обновления раннее проиндексированных страниц сайта проходят реже, чем включения новых страниц на сайте.
Рамблер, третья по популярности в Рунете поисковая система. Индексация сайтов происходит довольно медленно. Рекомендуем добавлять проекты в Рамблер-Top 100. А также написать письмо в службу поддержки Рамблера о том, что домен  является русскоязычным.
После включения сайта в индекс, робот Рамблера появляется на сайте почти каждый день по несколько раз. Каждое обновление страницы или добавление новой незамедлительно отражались в индексе на следующий день после добавления информации на сайт (проиндексированные страницы находились очень хорошо по тегу title).
Yahoo довольно быстро находит сайты, даже если не заполнять форму добавления ресурса. После публикации ресурса в Интернете сайты находят где-то через 3 недели.
Поисковая система появляется как правило довольно редко. Раз в 2 недели. Новые страницы исправно добавляются в индекс. Трафик  с него очень мал.
Bing тоже сайты находит сам, без заполнения формы, по внешним ссылкам. Индексирует сайты редко, но в отличие от Yahoo, корректно это делал с первого раза. Трафик  с него очень мал.

Материалы по теме:

16 cпocoбoв «гуглить» кaк прoфеccиoнaл
Выводов из SEO-конференций 2018 г.
Neural Matching — новый алгоритм Google
Замена тИЦ на ИКС
Какая разница между прогноз ставки и списываемой суммой в Я.Директ?
Спрос на услуги и товары в августе-октябре
Оценка максимально высокой позиции в органической выдачи
Алгоритм продвижения сайта услуг
Перенасыщение текстов ключевыми словами (keyword stuffing) в Google
Влияние ссылок на ранжирование в западных странах
Контент или ссылки?
Влияние внешних ссылок на позиции сайта
Фильтр Яндекса Баден-Баден
Анализ и поиск сайтов конкурентов
Почему минимальный срок контракта на продвижение от года
Работы по оптимизации сайта для улучшения выдачи
Сколько человек должно работать в seo проекте?
Продвижения психологов, коучеров в интернете
Как продвигать кейтеринговые компании
Продвижение сайтов в России
Как продвигать дизайн интерьера
Зеркала или как правильно с www или без www ?
Почему мы не любим брать в продвижение новые сайты
Три причины, почему маркетологу нужно поиcковое продвижение сайта
Преимущества аутсорсинга информационной поддержки сайта в компаниях:
Если упали позиции у сайта в Яндексе или Google, как восстановить позиции
Вопросы и ответы