Was ist das Crawl-Budget?

Das Crawl-Budget ist das Limit dafür, wie viel und wie oft Google Ihre Website crawlt. Es besteht aus zwei Teilen: der Crawl-Kapazität (wie viele Anfragen verarbeitet werden können, ohne Ihren Server zu überlasten; sie steigt, wenn die Website schnell und fehlerfrei antwortet) und der Crawl-Nachfrage (wie stark Google Ihre Website crawlen möchte, basierend auf der Beliebtheit der Website und der Häufigkeit von Inhaltsänderungen).

#Warum es wichtig ist

Für Websites mit einigen hundert Seiten ist das Crawl-Budget selten ein Problem. Bedeutung gewinnt es jedoch für Shops mit Zehntausenden von URLs, Websites mit Filter- und Parameter-Kombinationen sowie für langsame Server. Wenn das Budget für Weiterleitungsketten, 404-Fehler und duplizierte Parameter-URLs verschwendet wird, werden neue und aktualisierte Seiten erst verzögert entdeckt und indexiert.

#Wo Sie es in SEOAsist sehen

Das Crawl-Budget ist ein Konzept von Google; SEOAsist misst es nicht direkt, zeigt aber die Probleme an, die es verschwenden:

• Website-Zustand: Weiterleitungskette (2+ Hops), Defekter interner Link (4xx), Seiten mit Serverfehler (5xx) und Langsame Antwort (> 3 s) wirken sich alle direkt auf das Crawl-Budget aus.
• Website-Zustand → Uptime → Indexierungsstatus: Die Spalte Letzter Google-Crawl zeigt, wann Google Ihre wichtigen Seiten zuletzt gecrawlt hat.

#Beispiel

/shoes?color=black&size=40&sort=price
/shoes?size=40&color=black&sort=price
/shoes?color=black&size=40&sort=price&page=1

Hunderte Variationen desselben Inhalts werden gecrawlt. Das Blockieren von unwichtigen Parametern in der robots.txt und das Verweisen auf die Haupt-URL mit einem Canonical-Tag lenken das Budget auf die wichtigen Seiten.

#Häufige Fehler

• Das Crawl-Budget für Indexierungsprobleme auf einer kleinen Website verantwortlich zu machen; die Ursache liegt meist in der Content-Qualität.
• Weitergeleitete und 404-URLs in der Sitemap aufzuführen.
• Langsame Antworten und 5xx-Fehler zu ignorieren; Google verlangsamt das Crawling, wenn Fehler auftreten.