Was sind KI-Crawler (Bots)?

KI-Crawler sind die Bots, die KI-Unternehmen an Websites senden. Sie erfüllen nicht alle dieselbe Aufgabe; nach ihrem Zweck lassen sie sich in drei Gruppen einteilen:

Google-Extended ist kein echter Bot, sondern ein robots.txt-Token: Es wählt lediglich das Gemini-Training ab. Das Erscheinen in AI Overviews wird von Googlebot entschieden. Das Blockieren von Bingbot entfernt Sie sowohl aus der Bing-Suche als auch aus Copilot.

#Warum das wichtig ist

• Eine falsche robots.txt-Zeile kann Sie stillschweigend vollständig aus der KI-Suche entfernen.
• Wenn Sie nicht möchten, dass Ihre Inhalte für das Training verwendet werden, können Sie dies tun, ohne an Sichtbarkeit zu verlieren, indem Sie Such- und Assistenten-Bots geöffnet lassen.

#Wo Sie es in SEOAsist sehen

Öffnen Sie die Website unter Sites und wechseln Sie zum Tab KI-Zugriff:

• Jetzt prüfen liest die Live-robots.txt aus und zeigt ein Ergebnis wie Erlaubt, Blockiert oder Teilweise für 20 KI-Crawler an. Wenn das Pixel installiert ist, zählt die Spalte Zugriffe (28T) die tatsächlichen Anfragen der Bots.
• Wählen Sie auf der Karte robots.txt-KI-Richtlinie die Voreinstellung Offen, Nur Suche, Kein Training (empfohlen), Geschlossen oder Benutzerdefiniert. Kopieren Sie den generierten Block oder fügen Sie ihn über Per PR anwenden hinzu, wenn GitHub verbunden ist.

Mehr dazu: GEO: KI-Sichtbarkeit.

#Beispiel

Ein robots.txt-Block im Sinne von „Kein Training“:

User-agent: GPTBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

#Häufige Fehler

• Alle KI-Bots auf einmal zu blockieren und trotzdem zu erwarten, in der KI-Suche aufzutauchen.
• Zu glauben, dass das Blockieren von Google-Extended Sie aus den AI Overviews entfernt.
• Zu vergessen, dass ein breites Disallow in der Gruppe User-agent: * auch KI-Bots aussperrt.