Robots.txt

🤖 Robots.txt — это текстовый файл, размещаемый в корневом каталоге сайта (example.com/robots.txt), который инструктирует поисковых роботов: какие страницы сайта разрешено сканировать, а какие — нет.

---

📌 Основные задачи

• 🔒 Запрет на индексацию внутренних, технических или приватных разделов
• 📂 Разрешение индексации только нужных страниц
• 🗺️ Указание пути к sitemap для ускорения обхода
• ⚙️ Управление поведением ботов разных поисковых систем

---

💡 Пример файла Robots.txt

User-agent: *
Disallow: /admin/
Allow: /blog/
Sitemap: https://example.com/sitemap.xml

• User-agent: * — обращение ко всем поисковым системам
• Disallow: /admin/ — запрет на сканирование каталога
• Allow: /blog/ — разрешение на доступ к блогу
• Sitemap: — путь к карте сайта

---

⚠️ Что важно учитывать

• 🚫 Robots.txt не гарантирует, что страница не попадёт в индекс, если на неё есть внешняя ссылка
• 📉 Он не скрывает контент от пользователей, а только ограничивает доступ ботам
• 🔍 Не заменяет мета-тег noindex или авторизацию
• 📊 Может влиять на расход краулингового бюджета сайта

---

📎 Robots.txt — базовый элемент технической SEO-оптимизации, позволяющий управлять тем, как поисковые роботы взаимодействуют с сайтом и его содержимым.

---