Qu'est-ce que le Pay Per Crawl ? | Glossaire GEO

Le Pay Per Crawl est le modèle de facturation de Cloudflare qui permet aux sites web de faire payer un crawler IA à la requête pour accéder à leur contenu. Il s'agit de la première utilisation à grande échelle du code de statut HTTP 402 (Payment Required), longtemps resté inutilisé, lancé en bêta privée le 1er juillet 2025.

Pourquoi c'est important

Le crawling des moteurs de recherche a toujours reposé sur un échange implicite : le contenu est prélevé, du trafic est renvoyé en retour. Le crawling IA a rompu cet échange. Selon une analyse des données de Cloudflare Radar pour le premier trimestre 2026, le crawler d'Anthropic a récupéré environ 24 000 pages pour chaque visiteur qu'il a renvoyé, et celui d'OpenAI environ 1 300 — contre un ratio d'environ 5:1 pour Googlebot. Pour les éditeurs laissés sans contrepartie par le trafic de référence IA, le seul levier consistait jusqu'ici à bloquer. Le Pay Per Crawl en ajoute un nouveau : bloquer, ou monétiser.

Comment ça fonctionne

Lorsqu'un crawler demande une page protégée, le serveur répond par un 402 accompagné d'un en-tête indiquant le prix par requête.
Si le crawler relance sa demande avec un en-tête signalant son intention de payer, il reçoit le contenu avec un 200 OK. Les crawlers peuvent aussi déclarer à l'avance un prix maximum et obtenir le contenu immédiatement lorsque le coût correspond.
Les éditeurs fixent un prix forfaitaire unique par requête sur l'ensemble du domaine et choisissent l'une des trois options par crawler : Allow (gratuit), Charge (facturer) ou Block (bloquer).

Cloudflare agit comme Merchant of Record pour le règlement, et une norme complémentaire appelée Web Bot Auth vérifie l'identité des crawlers à l'aide de signatures cryptographiques, afin que les bots ne puissent pas se faire passer pour une identité plus amicale. Si robots.txt est une requête polie sans aucune force contraignante, le Pay Per Crawl est un péage appliqué au niveau du réseau.

Où en sommes-nous

Le jour même de l'annonce du Pay Per Crawl, Cloudflare a commencé à bloquer par défaut les crawlers IA pour les domaines nouvellement intégrés, instaurant une posture « bloqué par défaut, payant par choix ». La fonctionnalité a depuis été intégrée au produit AI Crawl Control, et les réponses 402 personnalisées sont désormais accessibles à tous les clients payants de Cloudflare. En février 2026, Stack Overflow a publiquement adopté le Pay Per Crawl avec Cloudflare, indiquant que de nombreux crawlers non autorisés ont tout simplement cessé d'essayer une fois confrontés aux réponses 402. Reste à confirmer si les paiements au crawl deviendront une source de revenus significative, mais le modèle est largement perçu comme l'infrastructure technique des négociations sur la compensation du contenu entre les entreprises d'IA et les éditeurs.

Sources :

Comment inblog vous aide

Savoir s'il vaut mieux bloquer, facturer ou autoriser dépend de la finalité de votre contenu. Si votre blog existe pour gagner en visibilité de marque au sein des réponses de l'IA, rester crawlable et obtenir des citations vaut généralement mieux que de verrouiller l'accès aux crawlers. L'analytics intégré d'inblog montre le trafic de référence issu de ChatGPT et d'autres canaux IA, ce qui vous permet de voir si le crawling IA vous rapporte réellement des visites — et de définir votre politique d'accès sur la base de données plutôt que de suppositions.