Crawling
Definition
Crawling bezeichnet den automatisierten Prozess, bei dem Suchmaschinen-Bots — allen voran der Googlebot — Webseiten systematisch besuchen, auslesen und deren Inhalte sowie Verlinkungen erfassen. Der Crawler folgt dabei von Seite zu Seite über interne und externe Links und übergibt die gesammelten Daten anschließend an den Index der Suchmaschine. Ohne diesen ersten Schritt existiert eine Seite für Google schlicht nicht.
Warum Crawling wichtig ist
Wie gut und wie häufig Google Ihre Website crawlt, hängt von mehreren Faktoren ab: der technischen Erreichbarkeit Ihrer Seiten, dem sogenannten Crawl-Budget, der Linkstruktur und der allgemeinen Autorität Ihrer Domain. Seiten, die durch fehlerhafte Robots.txt-Einträge, Noindex-Tags oder kaputte interne Verlinkungen blockiert oder versteckt sind, werden vom Crawler nicht erfasst — und landen damit auch nie in den Suchergebnissen. Gerade bei größeren Online-Shops oder Websites mit mehreren tausend URLs ist ein sauberes Crawling-Setup keine Selbstverständlichkeit, sondern ein aktiver Wettbewerbsvorteil.
Beispiel
Ein Online-Shop für Industriebedarf hat 8.000 Produktseiten. Die Facettierung im Shop-Filter erzeugt jedoch zusätzlich rund 40.000 dynamische URL-Varianten — etwa nach Farbe, Größe und Verfügbarkeit kombiniert. Der Googlebot verliert sich in diesen Kombinationen, crawlt relevante Kategorieseiten seltener und indexiert veraltete Produktseiten statt aktueller. Nach einer technischen Bereinigung — Canonical-Tags, angepasste Robots.txt und eine konsolidierte Sitemap — konzentriert sich das Crawl-Budget wieder auf die wirtschaftlich wichtigen Seiten. Sichtbarkeit und Rankings verbessern sich messbar innerhalb weniger Wochen.