Что такое файл robots.txt?

robots.txt — это текстовый файл, публикуемый по адресу https://site.com/robots.txt. Строки User-agent указывают, к какому боту относится правило, а строки Disallow и Allow определяют, какие пути можно или нельзя сканировать. Строка Sitemap: может направлять ботов к вашей карте сайта.

#Почему это важно

robots.txt управляет сканированием, а не индексацией. Удерживая ботов от посещения малоценных путей, таких как панели администратора, корзины или бесконечные комбинации фильтров, он направляет краулинговый бюджет на важные страницы. Одна неверная строка (например, Disallow: /) может полностью заблокировать сканирование всего сайта. Доступ для ИИ-ботов (GPTBot, ClaudeBot, PerplexityBot и других) также в основном регулируется через этот файл.

#Где это встречается в SEOAsist

• Краулер раздела Health учитывает правила robots.txt и пропускает заблокированные пути. Он также считывает строки Sitemap: из файла для обнаружения страниц. Если ожидаемые страницы отсутствуют в результатах сканирования, см. статью Crawl problems.
• Откройте сайт на странице Sites и перейдите на вкладку AI access: сервис считает текущий robots.txt, покажет статус разрешений для ИИ-краулеров, а карточка robots.txt AI policy сгенерирует блок правил для добавления в ваш существующий файл.
• SEO Analysis выявляет проблему, если robots.txt блокирует ИИ-ботов.

#Пример

User-agent: *
Disallow: /cart/
Disallow: /search?

User-agent: GPTBot
Allow: /

Sitemap: https://site.com/sitemap.xml

#Частые ошибки

• Использование robots.txt для удаления страницы из индекса; заблокированная страница всё равно может быть проиндексирована по ссылкам. Для этой цели используйте noindex.
• Блокировка файлов CSS и JavaScript, из-за чего Google не может корректно отобразить страницу.
• Перенос тестового правила Disallow: / с тестового сервера (staging) на рабочий сайт (production).