Log-File-Analyse

Log-File-Analyse

Definition

Die Log-File-Analyse wertet die Serverprotokolldateien einer Website aus, um zu verstehen, welche URLs Googlebot und andere Crawler wann und wie oft besucht haben. Jede Crawler-Anfrage hinterlässt dabei einen Eintrag im Log mit Zeitstempel, IP-Adresse, aufgerufener URL und HTTP-Statuscode. Aus diesen Rohdaten lässt sich ablesen, wie Suchmaschinen eine Website tatsächlich wahrnehmen – unabhängig davon, wie sie im Google Search Console-Dashboard aussieht.

Warum Log-File-Analyse wichtig ist

Das Crawl-Budget ist begrenzt: Googlebot investiert pro Website nur eine bestimmte Anzahl an Crawls pro Zeitraum. Verschwendet er diese Kapazität auf fehlerhafte URLs, doppelte Inhalte, parametrisierte Seiten oder längst gelöschte Ressourcen, werden wichtige Seiten seltener oder gar nicht gecrawlt – und ranken entsprechend schlechter. Die Log-File-Analyse deckt genau diese Ineffizienzen auf. Sie zeigt, welche Seiten zu selten gecrawlt werden, welche 404- oder 500-Fehler der Bot regelmäßig trifft, ob Weiterleitungsketten unnötig Ressourcen fressen und ob Bereiche, die per robots.txt gesperrt sein sollten, trotzdem aufgerufen werden. Für große Online-Shops oder Websites mit mehreren tausend URLs ist diese Analyse kein optionales Extra, sondern ein konkreter Hebel für technische SEO-Verbesserungen.

Beispiel

Ein Online-Shop mit 15.000 Produktseiten bemerkt, dass neue Produkte wochenlang nicht in den Suchergebnissen auftauchen. Die Log-File-Analyse zeigt: Googlebot crawlt täglich rund 800 URLs – davon entfallen fast 300 auf Filterkombinationen aus der Facettennavigation (z. B. /kategorie/?farbe=rot&groesse=M), die weder indexiert werden sollen noch inhaltlichen Mehrwert bieten. Durch eine konsequente Sperrung dieser Parameter-URLs per robots.txt oder Canonical wird das Crawl-Budget umgeleitet. Vier Wochen später werden neue Produktseiten deutlich schneller gecrawlt und erscheinen früher im Index.

Verwandte Begriffe