Crawl startet nicht, bleibt stecken oder findet 0 Seiten

SEOAsist startet von Ihrer Homepage und Sitemap und folgt dann Links auf derselben Domain. Der Crawler identifiziert sich als SEOAsistBot und beachtet die robots.txt; eine User-agent: SEOAsistBot-Gruppe in der robots.txt gilt direkt für ihn. Jede Website wird automatisch jede Woche gecrawlt, und Sie können sie jederzeit manuell crawlen.

Während ein Crawl läuft, zeigen die Website-Karte, die Website-Seite und die App seinen Live-Status an: Crawl queued… (Crawl in Warteschlange…), während er wartet, Crawling… N pages (Crawling… N Seiten), während er läuft.

#Symptome

• Eine Warnung Could not start crawl: „Sie haben keine Berechtigung oder das Crawling ist deaktiviert.“
• Eine Warnung A crawl is already in progress, aber es scheint kein Crawl zu laufen.
• Der Crawl endet mit nur 0 oder 1 Seiten.
• Die Seite Gesundheit listet viele Probleme wie „Seite nicht erreichbar (Zeitüberschreitung / Verbindungsfehler)“, „Crawler blockiert (Firewall / Bot-Schutz)“ oder „Weiterleitungsschleife“ auf.

#Lösung

1. Ist das Crawling ausgeschaltet? Öffnen Sie die Website über Websites. Aktivieren Sie in den Allgemeine Einstellungen auf der Registerkarte Allgemein das Kontrollkästchen Wöchentlicher automatischer Crawl aktiviert und klicken Sie auf Speichern. Wenn dieses Kästchen deaktiviert ist, starten auch manuelle Crawls nicht.
2. Haben Sie die Berechtigung? Eigentümer, Admins und Mitglieder können Crawls starten. Betrachter können dies nicht.
3. Ist das Kontingent aufgebraucht? Überprüfen Sie die Anzeige Monatliches Crawl-Kontingent im linken Menü. Wenn das monatliche Seitenkontingent aufgebraucht ist, können Sie keine neuen Crawls manuell starten, und das Panel zeigt möglicherweise „Ein Crawl läuft bereits“ an. Das Kontingent wird zu Beginn des Monats zurückgesetzt, oder Sie können Ihren Tarif upgraden.
4. Ist die Website-URL korrekt? Das Feld Website-URL muss die endgültige Adresse der Website sein (korrektes https, korrekte Domain). Wenn die Homepage zu einer anderen Domain weiterleitet, stoppt der Crawl dort, da nur Seiten auf derselben Domain gefolgt werden.
5. Blockiert robots.txt den Crawl? Wenn example.com/robots.txt eine Disallow: /-Regel enthält, die SEOAsistBot oder alle Bots (User-agent: *) abdeckt, werden blockierte Seiten übersprungen. Wenn die Homepage blockiert ist, erhalten Sie 0 Seiten. Erlauben Sie den Zugriff mit einer User-agent: SEOAsistBot-Gruppe.
6. Blockiert ein Bot-Schutz den Crawl? Eine Firewall oder ein Bot-Schutz (WAF, „Bot Fight“-Modi) kann den User-Agent SEOAsistBot blockieren; auf der Seite „Gesundheit“ wird dann „Crawler blockiert“ angezeigt. Fügen Sie SEOAsistBot zur Zulassungsliste hinzu.
7. Ist das Seitenlimit zu niedrig? Crawl-Seitenlimit ist die maximale Anzahl an Seiten, die ein Crawl besucht. Das serverseitige Limit liegt bei 500.
8. Sobald das Problem behoben ist, klicken Sie auf der Website-Seite auf Jetzt crawlen oder auf der Seite Gesundheit auf Diese Website crawlen.

#Es funktioniert immer noch nicht?

#Der Crawl zeigt schon lange „läuft“ an. Was sollte ich tun?

Sie können keinen neuen Crawl für dieselbe Website starten, bis der aktuelle beendet ist. Ein Crawl, der auf halbem Weg abgebrochen ist (z. B. weil das System neu gestartet wurde), wird durch eine Überprüfung geschlossen, die alle 15 Minuten läuft, und einmal automatisch neu gestartet; wenn der Neustart ebenfalls abbricht, wird er nicht erneut gestartet. Ein Crawl, der länger als einen Tag in der Warteschlange bleibt, ohne zu starten, wird ebenfalls geschlossen. Danach können Sie manuell einen neuen Crawl starten. Wenn das Problem weiterhin besteht, senden Sie eine E-Mail an support@seoasist.com.

#Warum ist das noindex-Problem auf der Seite „Gesundheit“ manchmal „Kritisch“ und manchmal „Info“?

Noindex ist nur an zwei Stellen ein Problem: auf der Homepage (Kritisch: die Website fällt aus dem Google-Index) und auf einer in der Sitemap eingereichten Seite (Ernst: Google erhält widersprüchliche Signale). Noindex-Seiten, die nicht in der Sitemap enthalten sind (wie z. B. dünne Tag- oder Städteseiten), gelten als absichtlich ausgeschlossen und werden als Info aufgeführt. Noindex-Seiten werden bei den Zählungen doppelter Titel und Beschreibungen ausgelassen, und ihre H1 wird nicht überprüft.

#Gelten für japanische, chinesische, koreanische oder thailändische Websites andere Schwellenwerte?

Ja. In diesen Sprachen wird die Inhaltslänge in Zeichen gezählt (umgerechnet in ein Wort-Äquivalent). Japanische, chinesische und koreanische Seiten verwenden einen Titel mit 15–35 Zeichen und eine Meta-Beschreibung mit maximal 120 Zeichen; thailändische Seiten behalten die Standard-Schwellenwerte für Titel und Beschreibung bei.

#Meine Website wird als „schreibgeschützt“ angezeigt und nicht gecrawlt. Warum?

Dies passiert nur in Organisationen, die über CoSuite abgerechnet werden: Websites außerhalb des CoSuite-Website-Kontingents sind schreibgeschützt; Crawling und Automatisierung laufen nicht, während die Daten sichtbar bleiben. Erhöhen Sie das Website-Kontingent in CoSuite oder entfernen Sie eine andere Website. Organisationen, die für ihren eigenen Tarif bezahlen, haben ein solches Limit nicht.

#Kann ich benachrichtigt werden, wenn ein Crawl abgeschlossen ist?

Ja. Wählen Sie unter Einstellungen → Benachrichtigungen das Ereignis Crawl abgeschlossen aus. Es ist standardmäßig ausgeschaltet.

#Wann läuft der automatische Crawl?

Der wöchentliche Autopilot-Crawl läuft jeden Sonntagmorgen (03:00 UTC). Websites, bei denen das Kästchen deaktiviert ist, werden übersprungen.