Crawl-Budget

Crawl-Budget

Definition

Das Crawl-Budget beschreibt die Anzahl an URLs, die Googlebot (oder ein anderer Suchmaschinen-Crawler) innerhalb eines bestimmten Zeitraums auf einer Website crawlt. Es ergibt sich aus zwei Faktoren: der Crawl-Rate (wie oft der Crawler anfragen darf, ohne den Server zu überlasten) und der Crawl-Nachfrage (wie wertvoll und aktuell Google eine Seite einschätzt). Beides zusammen bestimmt, wie viele Seiten Ihrer Domain tatsächlich in den Index gelangen.

Warum Crawl-Budget wichtig ist

Für kleine Websites mit wenigen Dutzend Seiten ist das Crawl-Budget kein kritisches Thema — Google crawlt alles ohne Probleme. Anders sieht es bei Online-Shops mit Tausenden von Produktseiten, Filterkombinationen und paginierten Kategorien aus: Hier entscheidet das Crawl-Budget direkt darüber, welche Seiten überhaupt indexiert werden und welche unsichtbar bleiben. Verschwendet der Crawler sein Budget an dünnen Filterseiten, doppelten URLs oder technischen Altlasten, fehlt ihm die Kapazität für die wirklich relevanten Produktseiten. Das Ergebnis: Rankings, die hinter dem tatsächlichen Potenzial der Domain zurückbleiben.

Beispiel

Ein Online-Shop für Sportartikel hat 12.000 Produktseiten, generiert durch Facettennavigation aber zusätzlich rund 80.000 Filterseiten (z. B. /laufschuhe?farbe=rot&groesse=42). Ohne saubere Crawl-Budget-Steuerung — etwa über kanonische URLs, noindex-Tags oder robots.txt-Regeln — verbringt Googlebot einen Großteil seiner Kapazität auf diesen wertlosen Kombinationsseiten. Die neuen Produktseiten aus dem Frühjahrs-Sortiment werden dadurch deutlich verzögert gecrawlt und tauchen erst Wochen später in den Suchergebnissen auf. Nach einer gezielten Bereinigung reduziert sich die crawlbare URL-Menge auf 14.000 relevante Seiten — und neue Produkte erscheinen innerhalb von Tagen im Index.

Verwandte Begriffe