ペイパークロール
ペイパークロール(Pay Per Crawl)とは、AIクローラーがウェブサイトのコンテンツを取得するたびに、リクエスト単位で料金を課すことができるようにするCloudflareの課金モデルです。長らく使われていなかったHTTPステータスコード402(Payment Required)を実際に活用する初の大規模な実験で、2025年7月1日にプライベートベータとして公開されました。
ペイパークロール(Pay Per Crawl)とは、AIクローラーがウェブサイトのコンテンツを取得するたびに、リクエスト単位で料金を課すことができるようにするCloudflareの課金モデルです。長らく使われていなかったHTTPステータスコード402(Payment Required)を実際に活用する初の大規模な実験で、2025年7月1日にプライベートベータとして公開されました。
なぜ重要なのか
検索エンジンのクロールは「コンテンツを取得する代わりにトラフィックを返す」という暗黙の交換の上に成り立ってきましたが、AIクローリングはこの交換を崩してしまいました。Cloudflare Radarに基づく2026年第1四半期の分析によると、Anthropicのクローラーはサイトに訪問者を1人送る間に約2万4千ページを、OpenAIは約1,300ページを取得しました。Googlebotの5:1と比べると、その差は歴然です。AI参照トラフィックで報われないパブリッシャーにとって、従来の選択肢はブロックだけでしたが、ペイパークロールは「ブロックするのか、収益化するのか」という新たな選択肢を加えました。
仕組み
- クローラーが保護されたページをリクエストすると、サーバーが402レスポンスとともにリクエストごとの価格をヘッダーで通知します。
- クローラーが支払いの意思を示すヘッダーとともに再度リクエストすると、200 OKとともにコンテンツを受け取ります。クローラーがあらかじめ「支払い可能な上限価格」を宣言し、それ以下であれば即座に受け取る方式にも対応しています。
- パブリッシャーはドメイン全体に適用されるリクエストごとの固定価格を設定し、クローラーごとに無料許可(Allow)・課金(Charge)・ブロック(Block)のいずれかを選択します。
決済はCloudflareがMerchant of Recordとして代行し、Web Bot Authという暗号署名の標準でクローラーの身元を検証して、他のボットへのなりすましを防ぎます。Robots.txtが強制力のない「お願い」だとすれば、ペイパークロールはネットワークレベルで執行される「料金所」です。
これまでの展開
Cloudflareはペイパークロールの公開と同じ日から、新規登録ドメインのAIクローラーをデフォルトでブロックし始め、「デフォルトはブロック、望めば課金」という構図を作りました。その後、関連機能はAI Crawl Control製品へと統合・拡張され、402レスポンスの設定はすべての有料顧客に開放されました。2026年2月にはStack OverflowがCloudflareとともにペイパークロールの導入を公開し、402を受け取った無断クローラーの多くが収集の試みを止めたと明らかにしました。クロール課金が意味のある収益源になるかはまだ検証段階ですが、AI企業とパブリッシャーの間の「コンテンツの対価」交渉の技術インフラになりつつあるという評価が一般的です。
Sources:
- Introducing pay per crawl - Cloudflare
- GEO Data Report 2026: Crawl-to-Refer Ratio of AI Crawlers - SEOmator
- Why Stack Overflow and Cloudflare launched a pay-per-crawl model - Stack Overflow
How inblog Helps
ブロック・課金・許可のどれが有利かは、コンテンツの目的によって異なります。AIの回答でのブランド露出が目的のブログであれば、クローラーを防ぐよりも、引用されやすいコンテンツで可視性を確保する方が有利な場合が多くあります。inblogの自社アナリティクスでChatGPTなどのAIチャネル経由の流入を確認すれば、自分のブログがAIクローリングの対価として実際にトラフィックを得ているかをデータで判断したうえで、アクセスポリシーを決めることができます。