Crawl-Budget
Das Crawl-Budget ist die Anzahl der URLs einer Website, die Suchmaschinen wie Google innerhalb eines bestimmten Zeitraums crawlen (entdecken). Da Suchmaschinen über begrenzte Ressourcen verfügen, die auf Milliarden von Websites verteilt sind, weisen sie jeder Website nur eine begrenzte Crawling-Kapazität zu.
Das Crawl-Budget ist die Anzahl der URLs einer Website, die Suchmaschinen wie Google innerhalb eines bestimmten Zeitraums crawlen (entdecken). Da Suchmaschinen über begrenzte Ressourcen verfügen, die auf Milliarden von Websites verteilt sind, weisen sie jeder Website nur eine begrenzte Crawling-Kapazität zu.
Warum es wichtig ist
Suchmaschinen müssen eine Seite crawlen und indexieren, bevor sie in den Suchergebnissen erscheinen kann. Ein unzureichendes Crawl-Budget bedeutet, dass wichtige Seiten unentdeckt bleiben oder aktualisierte Inhalte nicht zeitnah in den Suchergebnissen berücksichtigt werden.
Die meisten kleinen Websites müssen sich keine Sorgen über das Crawl-Budget machen, denn Google bewältigt das Crawling kleinerer Websites effizient. Das Management des Crawl-Budgets wird jedoch in folgenden Fällen entscheidend:
- Große Websites: Websites mit über 10.000 Seiten, bei denen Crawler möglicherweise nicht jede Seite besuchen. Laut Botifys Analyse von 6,2 Milliarden Googlebot-Anfragen über 413 Millionen Seiten erhalten 77 % der Seiten großer Websites keinerlei Suchtraffic.
- Häufig wechselnde Inhalte: Nachrichtenseiten, E-Commerce-Plattformen oder jede Website, deren Inhalte regelmäßig aktualisiert werden.
- Websites mit technischen Crawling-Problemen: Solche mit Weiterleitungsketten, defekten Links oder übermäßig vielen doppelten Inhalten.
Komponenten
Das Crawl-Budget wird durch zwei Faktoren bestimmt: Crawl-Nachfrage und Crawl-Kapazitätsgrenze.
Die Crawl-Nachfrage spiegelt wider, wie sehr Google eine Website crawlen möchte, und wird beeinflusst durch:
- Wahrgenommenen Bestand: Google versucht, alle bekannten Seiten zu crawlen, sofern sie nicht über robots.txt oder HTTP-Statuscodes blockiert sind.
- Beliebtheit: Websites mit hochwertigen Backlinks und höherem Traffic werden häufiger gecrawlt.
- Aktualität der Inhalte: Regelmäßig aktualisierte Websites (wie Nachrichtenverlage) werden häufiger gecrawlt als statische Seiten.
Die Crawl-Kapazitätsgrenze ist die Obergrenze, die Google festlegt, um eine Überlastung des Servers zu vermeiden. Schnellere Antwortzeiten der Website ermöglichen mehr Crawling, während häufige Serverfehler die Crawling-Häufigkeit verringern.
So optimieren Sie es
- Website-Geschwindigkeit verbessern: Schnellere Antwortzeiten des Servers ermöglichen es Crawlern, im gleichen Zeitraum mehr Seiten zu verarbeiten.
- Interne Verlinkung stärken: Lenken Sie Crawler durch strategische Platzierung interner Links zu wichtigen Seiten.
- XML-Sitemaps pflegen: Schließen Sie doppelte oder unwichtige URLs aus und halten Sie Sitemaps aktuell.
- robots.txt wirkungsvoll einsetzen: Blockieren Sie unnötige Seiten (Admin-Seiten, Filterseiten), um eine Verschwendung des Crawl-Budgets zu verhindern.
- Weiterleitungsketten beseitigen: Mehrstufige Weiterleitungen verbrauchen unnötig Crawl-Budget. Leiten Sie direkt zum endgültigen Ziel weiter.
- Defekte interne Links beheben: Links, die 404-Fehler zurückgeben, verschwenden Crawler-Ressourcen.
- Doppelte Inhalte auflösen: Viele identische oder nahezu identische Seiten können das gesamte Crawl-Budget aufbrauchen. Verwenden Sie Canonical-Tags zur Zusammenführung.
Überwachung
Der Crawling-Statistik-Bericht der Google Search Console zeigt die Gesamtzahl der Crawling-Anfragen, Downloadgrößen und Antwortzeiten über Zeiträume von 90 Tagen. Ein plötzlicher Rückgang der Crawling-Häufigkeit oder ein Anstieg der Serverfehlerrate weist auf Probleme mit dem Crawl-Budget hin.
Sources: