Was ist robots.txt?

robots.txt ist eine Textdatei, die unter https://site.com/robots.txt veröffentlicht wird. User-agent-Zeilen geben an, für welchen Bot eine Regel gilt, und Disallow- sowie Allow-Zeilen legen fest, welche Pfade gecrawlt werden dürfen und welche nicht. Eine Sitemap:-Zeile kann Bots zu Ihrer Sitemap leiten.

#Warum es wichtig ist

robots.txt steuert das Crawling, nicht die Indexierung. Indem Sie Bots von minderwertigen Pfaden wie Admin-Bereichen, Warenkörben oder endlosen Filterkombinationen fernhalten, lenken Sie das Crawl-Budget auf wichtige Seiten. Eine einzige falsche Zeile (zum Beispiel Disallow: /) kann das Crawling der gesamten Website stoppen. Der Zugriff für AI-Bots (GPTBot, ClaudeBot, PerplexityBot und andere) wird ebenfalls weitgehend über diese Datei verwaltet.

#Wo Sie es in SEOAsist sehen

• Der Gesundheit-Crawl berücksichtigt die robots.txt und überspringt blockierte Pfade. Er liest auch die Sitemap:-Zeilen der Datei, um Seiten zu entdecken. Wenn erwartete Seiten bei einem Crawl fehlen, lesen Sie Crawl-Probleme.
• Öffnen Sie eine Website auf der Seite Websites und wechseln Sie zum Reiter AI-Zugriff: Die Live-robots.txt wird ausgelesen, der Berechtigungsstatus von AI-Crawlern wird angezeigt und die Karte robots.txt AI-Richtlinie generiert einen Block, den Sie an Ihre bestehende Datei anhängen können.
• Die SEO-Analyse hebt ein Ergebnis hervor, wenn die robots.txt AI-Bots blockiert.

#Beispiel

User-agent: *
Disallow: /cart/
Disallow: /search?

User-agent: GPTBot
Allow: /

Sitemap: https://site.com/sitemap.xml

#Häufige Fehler

• Die Verwendung der robots.txt, um eine Seite aus dem Index zu entfernen; eine blockierte Seite kann weiterhin über Links indexiert werden. Verwenden Sie dafür noindex.
• Das Blockieren von CSS- und JavaScript-Dateien, sodass Google die Seite nicht ordnungsgemäß rendern kann.
• Das Übernehmen eines Staging-Disallow: / in die Produktion.