Robots.txt
🤖 Robots.txt — это текстовый файл, размещаемый в корневом каталоге сайта (example.com/robots.txt), который инструктирует поисковых роботов: какие страницы сайта разрешено сканировать, а какие — нет. 📌 Основные задачи 🔒 Запрет на индексацию внутренних, технических или приватных разделов 📂 Разрешение индексации только нужных страниц 🗺️…
