Was ist Pay Per Crawl? | GEO-Glossar

Pay Per Crawl ist Cloudflares Abrechnungsmodell, mit dem Websites einem AI-Crawler den Zugriff auf ihre Inhalte pro Anfrage in Rechnung stellen können. Es ist die erste groß angelegte Nutzung des lange brachliegenden HTTP-Statuscodes 402 (Payment Required) und startete am 1. Juli 2025 in einer privaten Beta.

Warum es wichtig ist

Das Crawling durch Suchmaschinen beruhte stets auf einem stillschweigenden Tausch: Inhalte werden entnommen, dafür wird Traffic zurückgeschickt. Das AI-Crawling hat diesen Tausch zerstört. Laut einer Analyse von Cloudflare-Radar-Daten für das erste Quartal 2026 rief der Crawler von Anthropic für jeden einzelnen zurückverwiesenen Besucher rund 24.000 Seiten ab, der von OpenAI rund 1.300 – gegenüber dem Verhältnis von etwa 5:1 beim Googlebot. Für Publisher, die durch AI-Referral-Traffic unvergütet bleiben, war Blockieren bislang der einzige Hebel. Pay Per Crawl fügt einen neuen hinzu: blockieren oder monetarisieren.

Wie es funktioniert

Wenn ein Crawler eine geschützte Seite anfordert, antwortet der Server mit einem 402 und einem Header, der den Preis pro Anfrage angibt.
Wiederholt der Crawler die Anfrage mit einem Header, der die Zahlungsabsicht enthält, erhält er den Inhalt mit einem 200 OK. Crawler können auch im Voraus einen Höchstpreis angeben und den Inhalt sofort erhalten, wenn die Kosten passen.
Publisher legen einen einheitlichen Preis pro Anfrage für die gesamte Domain fest und wählen pro Crawler eine von drei Optionen: Allow (kostenlos), Charge oder Block.

Cloudflare fungiert für die Abrechnung als Merchant of Record, und ein begleitender Standard namens Web Bot Auth überprüft die Identität des Crawlers mit kryptografischen Signaturen, damit Bots keine vertrauenswürdigere Identität vortäuschen können. Ist robots.txt eine höfliche Bitte ohne Durchsetzung, so ist Pay Per Crawl eine auf Netzwerkebene durchgesetzte Mautstation.

Wie der Stand der Dinge ist

Am selben Tag, an dem Cloudflare Pay Per Crawl ankündigte, begann das Unternehmen, AI-Crawler für neu hinzugekommene Domains standardmäßig zu blockieren – und etablierte damit die Haltung "standardmäßig blockiert, auf Wunsch bezahlt". Die Funktion wurde seither in das Produkt AI Crawl Control integriert, und benutzerdefinierte 402-Antworten stehen nun jedem zahlenden Cloudflare-Kunden zur Verfügung. Im Februar 2026 führte Stack Overflow Pay Per Crawl gemeinsam mit Cloudflare öffentlich ein und berichtete, dass viele unautorisierte Crawler schlicht aufhörten, es zu versuchen, sobald sie auf 402-Antworten stießen. Ob Zahlungen pro Crawl zu einer nennenswerten Einnahmequelle werden, wird noch erprobt, doch das Modell gilt weithin als technische Infrastruktur für Verhandlungen über die Content-Vergütung zwischen KI-Unternehmen und Publishern.

Sources:

Wie inblog hilft

Ob Blockieren, Abrechnen oder Erlauben die richtige Entscheidung ist, hängt davon ab, wofür Ihre Inhalte da sind. Wenn Ihr Blog dazu dient, Markenpräsenz in KI-Antworten zu gewinnen, schlägt es meist, crawlbar zu bleiben und Zitate zu verdienen, statt Crawler auszusperren. Die integrierte Analytics-Funktion von inblog zeigt den Zugriffstraffic von ChatGPT und anderen KI-Kanälen, sodass Sie sehen können, ob sich das AI-Crawling tatsächlich in Besuchen auszahlt – und Ihre Zugriffsrichtlinie auf Basis von Daten statt Vermutungen festlegen.