Crawl Budget

Was ist das Crawl Budget?

Unter dem Begriff "Crawl Budget" versteht man die Zeit und die Ressourcen, die Google für das Crawling einer Website verwendet.

Errechnet wird das Crawling Budget anhand von zwei Faktoren:
dem Crawling-Kapazitätslimit und dem Crawling-Bedarf.

Diese bestimmen darüber, wie hoch die maximale Anzahl von Seiten und Unterseiten ist, die vom Googlebot im dafür vorgesehenen Zeitfenster gecrawlt werden.

Das Crawl Budget legt zudem fest, wie häufig die wichtigsten Seiten der Website gecrawlt werden und wie oft ein tiefgehender Crawl erfolgt.

Wie hoch ist das Crawl Budget einer Website?

Das Crawl Budget ist keine statische Größe oder eine bestimmte Zeitdauer, die der Googlebot dafür aufwendet, den Content einer Webseite zu indexieren.

Jede Website hat ein anderes, von Google errechnetes Crawl Budget.

Das liegt daran, dass manche Seiten öfter gecrawlt werden müssen, wie zum Beispiel News-Seiten und Onlineshops, deren Inhalte und Produkte sich stetig ändern.

Oder eben auch daran, dass manche Seiten beliebter bei den Usern sind als andere.

Dass Google den Content von Firma A als relevanter einstuft als den von Firma B.

Oder dass Seite A ein besseres Backlinkprofil aufweist als Seite C.

Faustregel: Je besser der PageRank und das Google Ranking einer Website, desto höher deren Crawling Budget.

Kann man das Crawl Budget seiner Webseite berechnen?

Google kann es, Webseitenbetreiber selbst können das nicht.

Man kann aber über Tools wie die Google Search Console ermitteln, ob das von Google zugewiesene Crawl Budget für die eigene Webseite ausreicht oder nicht.

Wenn alle vom Webseitenbetreiber gewünschten Unterseiten indiziert und gerankt werden, ist dies der Fall.

Wenn nicht alle Seiten gecrawlt und indexiert wurden, ist der Grund dafür aber nur selten ein ausgereiztes Crawl Budget. Viel öfter liegen die Fehler in der Freigabe zur Indexierung o.ä.

SEO-Experten können in diesem Fall durch eine Log-File Analyse Daten erheben. So kann ermittelt werden, ob, wann und wie welche URL vom Googlebot gecrawlt wurde.

Was passiert, wenn das Crawl Budget nicht ausreicht?

Wenn einzelne URLs aufgrund eines überschrittenen Crawl Budgets nicht von Googles Crawlern indexiert werden können, werden diese auch nicht gerankt. Sie können daher auch nicht von den Usern gefunden werden.

Handelt es sich dabei beispielsweise um Produktseiten eines Onlineshops, geht wichtiger Traffic verloren - und damit auch ein Teil des Umsatzes.

Ein Beispiel für ein überschrittenes Crawl Budget:

Stellen wir uns einen Onlineshop für Bekleidung vor, der tausende Artikel im Sortiment hat.

Die Hosen, T-Shirts, Pullover und Blusen bietet das Unternehmen in allen möglichen Größen und Farben an.
Durch eine fehlerhafte Konfiguration des Onlineshops wird für jede Kombination aus Größe und Farbe eine eigene URL generiert, die der Googlebot auslesen muss.

Doch dafür hat er nicht die Zeit, denn unser Unternehmen ist nur eines von vielen und eben nicht Zalando oder Otto.

Die Folge: andere wichtige Artikel wurden nicht indexiert, da der Crawler mit zu vielen Variationen ein und desselben Inhalts beschäftigt war.

Doch damit nicht genug: Das Unternehmen hat Duplicate Content ohne Ende generiert, was nicht nur das Crawling Budget belastet, sondern auch zu schlechteren Rankings im Google Index führt.

Lösung:

Besser wäre es dem Onlineshop ergangen, hätte es jeweils ein Produkt als Basis ausgewählt und mit dem Canonical versehen und die Seiten-Varianten vom Crawling ausgeschlossen.
Die individuelle Farb- und Größenvariante hätte sich der User dann auf der Seite mithilfe von Filtern selbst zusammenstellen können.

Das Crawling Budget wäre in dem Fall nicht zwingend überschritten worden - und der Crawler hätte alle weiteren Seiten und Unterseiten im Zeitlimit durchforsten können.

Crawl Budget erhöhen

Was kann man tun, damit sich das Crawl Budget erhöht?

Da ein hohes Crawl Budget in erster Linie abhängig vom PageRank und der Platzierung der Website im Google Ranking ist, muss man versuchen, diese Werte zu verbessern.

Damit dies gelingt, sind gute, aktuelle Inhalte und klassisches OnPage SEO nötig.

Tipps, um das Crawl Budget effizient zu nutzen

• Setzen Sie auf schnelle Server und schnell ladende Website-Inhalte
• Achten Sie auf eine sinnvolle URL-Struktur
• Bauen Sie auf flache Hierarchien bei der Website-Struktur
• Reichen Sie eine Sitemap bei Google ein
• Achten Sie auf eine gute interne Verlinkung der wichtigen Seiten
• Vermeiden Sie Duplicate Content
• Setzen Sie Canonicals ein
• Bauen Sie unterschiedliche Content-Formate ein (nicht nur Text)
• Vermeiden Sie Weiterleitungsketten
• Ersetzen oder aktualisieren Sie Seiten mit niedrigem Informationsgehalt
• Reparieren Sie defekte Links und URLs
• Vermeiden Sie weitere Fehler, die zu 400er und 500er Statuscodes führen können
• Schließen Sie unwichtige Seiten vom Crawling aus (z.B. durch “noindex” oder robots.txt)
• Kontrollieren Sie regelmäßig die Google Search Console auf Fehler

Wer mehr zum Thema wissen will: Google gibt unter Verwaltung des Crawling Budgets hilfreiche Tipps und Antworten zur Analyse und Überprüfung des eigenen Crawl Budgets.  

Crawl Budget - Häufige Fragen und Antworten

Wie kann man ermitteln, welche Seiten von einem niedrigen Crawl Budget am meisten betroffen sind?

Hierzu empfehle ich das Tool SEO Log File Analyser. Damit lassen sich Seiten finden, die wenig gecrawlt werden.

Das Tool finden Sie unter https://www.screamingfrog.co.uk/log-file-analyser/ und eine Anleitung unter https://www.youtube.com/watch?v=-Qgly4DRWeE

Welche Maßnahmen kann man ergreifen, um zu verhindern, dass das Crawl Budget durch technische Fehler auf der Webseite verschwendet wird?

Hier sollte eine Logfile-Analyse erstellt werden um die URLs zu crawlen und herauszufiltern die durch technische Probleme erstellt und dann gecrawlt werden. Besonders relevant ist die für große Onlineshops.

Wie wirkt sich die Website-Architektur konkret auf das Crawl Budget aus und welche strukturellen Änderungen könnten das Budget verbessern?

Prinzipiell gilt, dass Seiten die häufiger verlinkt sind auch relevanter sind. Dadurch werden diese häufiger gecrawlt. Eine schlechte Website-Architektur kann dazu führen, dass viele irrelevante Seiten als zu relevant erscheinen. Hier sollte die interne Verlinkung und die Website-Struktur überprüft und optimiert werden.

Inwiefern beeinflussen serverseitige Faktoren wie die Antwortzeit des Servers das Crawl Budget?

Die serverseitigen Ressourcen von Suchmaschinen sind zwar extrem hoch, jedoch auch begrenzt. Daher kann sich eine langsame Antwortszeit negativ auf das Crawling auswirken.