Pay Per Crawl
Pay Per Crawl（按抓取付费）是 Cloudflare 的一种计费模式，能够让网站在 AI 爬虫每次抓取内容时按请求收费。作为首个真正使用长期闲置的 HTTP 状态码 402（Payment Required，需要付款）的大规模实验，它于 2025 年 7 月 1 日以私有测试形式公开。
Pay Per Crawl（按抓取付费）是 Cloudflare 的一种计费模式，能够让网站在 AI 爬虫每次抓取内容时按请求收费。作为首个真正使用长期闲置的 HTTP 状态码 402（Payment Required，需要付款）的大规模实验，它于 2025 年 7 月 1 日以私有测试形式公开。
为什么重要
搜索引擎抓取一直建立在"以内容换回流量"这一隐性交换之上，而 AI 爬取打破了这一交换。基于 Cloudflare Radar 的 2026 年第一季度分析显示，Anthropic 的爬虫每为网站送去 1 名访问者，就抓取约 2.4 万个页面，OpenAI 约为 1,300 个页面。与谷歌爬虫的 5:1 相比，差距极为悬殊。对于无法通过 AI 引荐流量获得回报的发布商而言，过去的选项只有拦截，而 Pay Per Crawl 新增了"是拦截，还是变现"这一选项。
工作原理
- 当爬虫请求受保护的页面时，服务器返回 402 响应，并通过头部告知每次请求的价格。
- 爬虫携带表明付款意愿的头部再次请求，便会收到 200 OK 与内容。该模式也支持爬虫预先声明"可接受的最高价格"，只要不超过该价即可立即获取。
- 发布商设定适用于整个域名的每请求固定价格，并为各爬虫分别选择免费允许（Allow）、收费（Charge）或拦截（Block）之一。
结算由 Cloudflare 作为记录商（Merchant of Record）代为处理，并通过名为 Web Bot Auth 的加密签名标准验证爬虫身份，以防其伪装成其他机器人。如果说 robots.txt 是没有强制力的"请求"，那么 Pay Per Crawl 就是在网络层面强制执行的"收费站"。
迄今的进展
Cloudflare 自公开 Pay Per Crawl 的同一天起，便开始对新注册域名默认拦截 AI 爬虫，由此形成"默认拦截、需要则收费"的格局。此后相关功能被整合并扩展为 AI Crawl Control 产品，402 响应设置也向所有付费客户开放。2026 年 2 月，Stack Overflow 与 Cloudflare 一同公开了引入 Pay Per Crawl 的消息，并表示相当一部分收到 402 的未授权爬虫已停止抓取尝试。抓取收费能否成为有意义的收入来源仍处于验证阶段，但普遍认为，它正成为 AI 企业与发布商之间就"内容对价"进行协商的技术基础设施。
Sources:
- Introducing pay per crawl - Cloudflare
- GEO Data Report 2026: Crawl-to-Refer Ratio of AI Crawlers - SEOmator
- Why Stack Overflow and Cloudflare launched a pay-per-crawl model - Stack Overflow
inblog 如何提供帮助
拦截、收费、允许中哪一种更有利，取决于内容的目的。如果博客的目的是在 AI 答案中获得品牌曝光，那么比起拦截爬虫，用便于被引用的内容来争取可见性，往往更为有利。借助 inblog 的自有分析功能查看来自 ChatGPT 等 AI 渠道的流量，便能用数据判断自己的博客是否因 AI 爬取而实际获得了流量，再据此确定访问策略。