Crawlbarkeit
Crawlbarkeit ist die Fähigkeit eines Suchmaschinen-Bots, auf eine Webseite zuzugreifen und ihre Inhalte zu erfassen. Während Crawling der Akt des Erfassens ist, bezeichnet Crawlbarkeit den Zustand, erfassbar zu sein. Sie steht ganz unten in der Bedürfnishierarchie des technischen SEO.
Crawlbarkeit ist die Fähigkeit eines Suchmaschinen-Bots, auf eine Webseite zuzugreifen und ihre Inhalte zu erfassen. Während Crawling der Akt des Erfassens ist, bezeichnet Crawlbarkeit den Zustand, erfassbar zu sein. Sie steht ganz unten in der Bedürfnishierarchie des technischen SEO.
Warum es wichtig ist
Wenn Suchmaschinen nicht auf Ihre Inhalte zugreifen können, erscheinen diese unabhängig von ihrer Qualität nicht in den Ergebnissen. Crawlbarkeit ist das erste Tor des SEO. Probleme an dieser Stelle machen jede nachgelagerte Optimierung (On-Page, Inhalte, Backlinks) wirkungslos.
Häufige Hindernisse für die Crawlbarkeit
Blockaden durch robots.txt: Wichtige Seiten werden versehentlich vom Crawling ausgeschlossen.
Defekte Links und Weiterleitungsschleifen: Pfade, die das Crawl-Budget verschwenden, ohne ein Ziel zu erreichen.
Langsame Serverantwort: Lange Antwortzeiten verringern die Anzahl der Seiten, die der Googlebot pro Sitzung crawlen kann.
Verwaiste Seiten: Seiten ohne interne Links, die Crawler nicht entdecken können.
Von JavaScript abhängige Inhalte: Inhalte, die nur über JS gerendert werden, können beim Crawling und bei der Indexierung zu Verzögerungen führen.
So verbessern Sie sie
- Struktur der internen Links: Stellen Sie sicher, dass alle wichtigen Seiten innerhalb von 3 Klicks erreichbar sind
- XML-Sitemap: Übermitteln Sie Crawlern eine vollständige Liste wichtiger Seiten
- robots.txt-Prüfung: Vergewissern Sie sich, dass wichtige Seiten nicht versehentlich blockiert sind
- Defekte Links beheben: Lösen Sie 404-Fehler und Weiterleitungsketten zeitnah auf
- Server-Geschwindigkeit: Schnellere Antwortzeiten verbessern die Crawling-Effizienz
- Seiten mit geringem Wert entfernen: Konzentrieren Sie das Crawl-Budget auf die wichtigen Seiten
Crawlbarkeit vs. Indexierbarkeit
| Phase | Crawlbarkeit | Indexierbarkeit |
|---|---|---|
| Frage | Kann die Suchmaschine auf diese Seite zugreifen? | Wird die zugängliche Seite in den Index aufgenommen? |
| Hindernisse | robots.txt, Serverfehler, Unzugänglichkeit | noindex-Tag, doppelte Inhalte, geringe Qualität |
| Beziehung | Voraussetzung | Wird bewertet, nachdem die Crawlbarkeit bestätigt ist |
Sources: