Что такое ИИ-краулеры (боты)?

ИИ-краулеры — это боты, которых ИИ-компании отправляют на веб-сайты. Они выполняют разные задачи и по своему назначению делятся на три группы:

Google-Extended — это не настоящий бот, а токен для robots.txt: он лишь отключает использование данных для обучения Gemini. Попадание в AI Overviews определяется роботом Googlebot. Блокировка Bingbot удаляет вас как из поиска Bing, так и из Copilot.

#Почему это важно

• Одна неверная строка в robots.txt может незаметно исключить вас из ИИ-поиска полностью.
• Если вы не хотите, чтобы ваш контент использовался для обучения, вы можете сделать это без потери видимости, оставив поисковых ботов и ботов-ассистентов открытыми.

#Где это найти в SEOAsist

Откройте сайт из раздела Sites и перейдите на вкладку AI access:

• Check now считывает текущий robots.txt и показывает статус Allowed, Blocked или Partial для 20 ИИ-краулеров. При установленном Pixel колонка Hits (28d) подсчитывает реальные запросы ботов.
• На карточке robots.txt AI policy выберите пресет Open, Search only, No training (рекомендуется), Closed или Custom. Скопируйте сгенерированный блок или добавьте его с помощью Apply via PR, если подключен GitHub.

Подробнее: GEO: AI visibility.

#Пример

Блок robots.txt в стиле "No training":

User-agent: GPTBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

#Распространенные ошибки

• Блокировка всех ИИ-ботов одновременно с ожиданием появления в ИИ-поиске.
• Уверенность в том, что блокировка Google-Extended удаляет вас из AI Overviews.
• Забывание о том, что широкая директива Disallow в группе User-agent: * также закрывает доступ и для ИИ-ботов.