Robots.txt
🤖 Robots.txt — это текстовый файл, размещаемый в корневом каталоге сайта (example.com/robots.txt
), который инструктирует поисковых роботов: какие страницы сайта разрешено сканировать, а какие — нет.
📌 Основные задачи
- 🔒 Запрет на индексацию внутренних, технических или приватных разделов
- 📂 Разрешение индексации только нужных страниц
- 🗺️ Указание пути к sitemap для ускорения обхода
- ⚙️ Управление поведением ботов разных поисковых систем
💡 Пример файла Robots.txt
User-agent: *
Disallow: /admin/
Allow: /blog/
Sitemap: https://example.com/sitemap.xml
User-agent: *
— обращение ко всем поисковым системамDisallow: /admin/
— запрет на сканирование каталогаAllow: /blog/
— разрешение на доступ к блогуSitemap:
— путь к карте сайта
⚠️ Что важно учитывать
- 🚫 Robots.txt не гарантирует, что страница не попадёт в индекс, если на неё есть внешняя ссылка
- 📉 Он не скрывает контент от пользователей, а только ограничивает доступ ботам
- 🔍 Не заменяет мета-тег
noindex
или авторизацию - 📊 Может влиять на расход краулингового бюджета сайта
📎 Robots.txt — базовый элемент технической SEO-оптимизации, позволяющий управлять тем, как поисковые роботы взаимодействуют с сайтом и его содержимым.
Материалы по теме:
Окно Овертона в интернет-маркетинге, как незаметно продвигать любые идеи и продуктыЦенообразование в современной экономике
Индексация
Пингвин (Google Penguin)
Фильтры поисковых систем
Бренд как главное SEO-оружие
Основные понятия SEO
90 % поискового трафика ИИ игнорирует мобильную стратегию
Роль ссылок в SEO: семь ключевых принципов для успешного продвижения сайта
Продвижение услуг
SEO больше не работает как раньше. Что теперь?
X-факторы (UX-сигналы)
Почему Яндекс Директ не работает в B2B — и как это исправить
Контент, созданный ИИ, безопасен для SEO: итоги масштабного анализа
Тёмная сторона SEO
nofollow / dofollow
PBN (Private Blog Network) —
Естественные ссылки (Natural Links)
Анкор (Anchor)
Когда не стоит делать SEO
Комплексное продвижение сайтов в России
Как заказать продвижение сайта
Фильтры Яндекса
Интернет продвижение 2025
Нейропоиск меняет трафик
Органический трафик на новостные сайты продолжает снижаться
Настройка региона сайта
Donor site (Сайт-донор)
Обратная ссылка (Backlink)
Картинка в WebP
Уникальность контента
Alt-атрибут
7 ошибок – почему сайт не продвигается в поиске
Ошибка редактора WordPress
Внутренняя перелинковка
H1, H2, H3 (Заголовки на странице)
Description (Мета-описание страницы)
Title (Заголовок страницы)
Core Web Vitals (Основные интернет-показатели)
HEIF (High Efficiency Image File Format)
ЧПУ (Человеко-понятные URL)
Ошибка 404 (Not Found)
Сервисы для автоматической кластеризации ключевых слов
Кластеризация ключевых слов — основа продвижения сайтов
Почему после запуска рекламы в Яндекс.Директе нет заказов
LSI (Latent Semantic Indexing)
Классификация ключевых слов по частотности
Семантическое ядро
Ключевое слово (Keyword)
Зачем SEO-специалист участвует в создании сайта
Email-рассылка –
301 редирект (постоянное перенаправление)
Canonical (канонический URL)
Sitemap.xml
Конверсия
Поведенческие факторы
Bounce Rate (Показатель отказов)
CTR (Click-Through Rate) — показатель кликабельности
Ключевое слово
Органический трафик
Алгоритм ранжирования
Поисковой робот (бот, краулер)
Ценообразование в SEO: из чего складывается стоимость поискового продвижения
SERP (Search Engine Results Page)
Что такое SEO (Search Engine Optimization)
Расширенный глоссарий SEO
Основные понятия SEO
Чек-лист: как понять, что на ваш сайт накручивают поведенческие факторы
Чем сегодня заменили «ключевые слова»?
Как влияют пользовательские действия на локальную выдачу в Яндексе
💡 Примеры работ клиентов на сайте — плохая идея для B2B
🔍 Как работают поисковые системы
📌 Вебвизор 2.0
🎯 Что такое N / a (URL неизвестен)?
Google обошел Яндекс
Алгоритм Google Penguin
Об эффекте Рингельмана
VPN для чего используется в работе ?
Как ускорить удаление страниц из индекса
👨💼 Аутсорсинг продвижения сайта
16 cпocoбoв “гуглить” кaк прoфеccиoнaл
Выводов из SEO-конференций 2018 г.
Neural Matching – новый алгоритм Google
Замена тИЦ на ИКС
💰 Какая разница между прогнозом ставки и списываемой суммой в Яндекс.Директ?
Спрос на услуги и товары в августе-октябре
Оценка максимально высокой позиции в органической выдачи
Нативная реклама
Перенасыщение текстов ключевыми словами (keyword stuffing) в Google
Влияние ссылок на ранжирование в западных странах
📧 Почему электронная почта лучше мессенджеров для работы над проектами
Контент или ссылки?
Влияние внешних ссылок на позиции сайта
Фильтр Яндекса Баден-Баден
Сервисы для анализа и поиск сайтов конкурентов
Минимальный срок контракта
Работы по оптимизации сайта для улучшения выдачи
Мимикрия – яндекс пессимизирует сайты за сходство с популярными ресурсами
Сколько человек должно работать в seo проекте?
Как продвигать кейтеринговые компании
Продвижение сайтов в России
Как продвигать дизайн интерьера
🔍 Зеркала, как правильно с www или без www ?
Почему мы не любим брать в продвижение новые сайты
Индексирование сайта поисковыми системами
Три причины, почему маркетологу нужно поиcковое продвижение сайта
Если упали позиции у сайта в Яндексе или Google, как восстановить позиции
Вопросы и ответы
Как пожаловаться на сайт
Cloudflare
СКОЛЬКО ВРЕМЕНИ НУЖНО ПОИСКОВИКУ ДЛЯ ИНДЕКСАЦИИ НОВЫХ ССЫЛОК
Яндекс.Советник
Ссылочный профиль
Пессимизация сайтов в Google
Упоминание бренда
Факторы ранжирования в топ-10 Google. Исследование.
Насколько пользователи доверяют результатам поиска Google
Незаметное снижение позиций
Факторы ранжирования интернет-магазина в Яндекс
Источник трафика и доходов для интернет-магазинов
Четверть владельцев бизнеса мало или ничего не знают о SEO
Google: почему улучшение контента не всегда ведет к росту позиций в выдаче
Google о выявлении дублированного контента и каноникализации
МАЛОПОЛЕЗНЫЙ КОНТЕНТ
53% ВСЕГО ТРАФИКА НА САЙТЫ
Возражения против SEO