Crawl-Fehler

Crawl-Fehler

Definition

Ein Crawl-Fehler tritt auf, wenn der Googlebot oder ein anderer Suchmaschinen-Crawler eine URL Ihrer Website aufruft und dabei keine erfolgreiche Antwort erhält. Das passiert zum Beispiel, wenn eine Seite nicht existiert (404), der Server nicht erreichbar ist (5xx) oder eine Weiterleitung in eine Endlosschleife führt. Das Ergebnis: Die betroffene Seite wird nicht oder falsch indexiert.

Warum Crawl-Fehler wichtig sind

Suchmaschinen haben ein begrenztes Crawl-Budget — also eine bestimmte Anzahl an Seiten, die sie pro Zeiteinheit auf Ihrer Domain crawlen. Häufen sich Crawl-Fehler, verschwendet Google dieses Budget an URLs, die keinen Inhalt liefern, statt an Seiten, die ranken sollen. Für Online-Shops mit Tausenden von Produktseiten ist das besonders kritisch: Gelöschte Varianten, veraltete Filterkombinationen oder fehlerhafte interne Verlinkungen können dazu führen, dass wichtige Kategorieseiten seltener gecrawlt und damit langsamer aktualisiert werden. Auch für mittelständische B2B-Websites gilt: Jeder ungelöste Serverfehler ist ein stilles Signal an Google, dass die technische Basis nicht stimmt.

Beispiel

Ein Online-Shop migriert sein Shopsystem und vergisst dabei, die alten Produkt-URLs per 301-Weiterleitung auf die neuen Adressen zu leiten. Google crawlt weiterhin die alten URLs aus dem Index und dem Backlink-Profil — und erhält jedes Mal einen 404-Fehler. Nach einigen Wochen sinken die Rankings der betroffenen Produkte, weil die Seiten aus dem Index fallen und die aufgebaute Linkstärke ins Leere läuft. Eine strukturierte Crawl-Analyse in der Google Search Console hätte das Problem innerhalb von Minuten sichtbar gemacht.

Verwandte Begriffe