Pay Per Crawl
Pay Per Crawl é o modelo de cobrança da Cloudflare que permite a um site cobrar por requisição sempre que um crawler de IA coleta o conteúdo do site. É o primeiro experimento em larga escala a usar de fato o código de status HTTP 402 (Payment Required), que ficou ocioso por muito tempo, lançado em beta privado em 1 de julho de 2025.
Pay Per Crawl é o modelo de cobrança da Cloudflare que permite a um site cobrar por requisição sempre que um crawler de IA coleta o conteúdo do site. É o primeiro experimento em larga escala a usar de fato o código de status HTTP 402 (Payment Required), que ficou ocioso por muito tempo, lançado em beta privado em 1 de julho de 2025.
Por que importa
A coleta pelos mecanismos de busca sempre se sustentou sobre uma troca implícita: "em troca de levar o conteúdo, devolve-se tráfego". Mas a coleta por IA quebrou essa troca. Segundo análise baseada em dados do Cloudflare Radar referente ao primeiro trimestre de 2026, enquanto enviava 1 visitante ao site, o crawler da Anthropic coletou cerca de 24 mil páginas, e o da OpenAI, cerca de 1.300. Comparada a proporção de 5:1 do Googlebot, a diferença é gritante. Para os publishers que não são compensados pelo tráfego de referência de IA, a única opção existente era bloquear; o Pay Per Crawl acrescentou uma nova: "bloquear ou monetizar?".
Como funciona
- Quando o crawler solicita uma página protegida, o servidor responde com um 402 e informa o preço por requisição em um cabeçalho.
- Quando o crawler solicita de novo, com um cabeçalho que expressa a intenção de pagamento, ele recebe o conteúdo junto de um 200 OK. Também há suporte a um modo em que o crawler declara antecipadamente um "preço máximo a pagar" e, se o valor ficar abaixo disso, recebe o conteúdo na hora.
- O publisher define um preço fixo por requisição, aplicado a todo o domínio, e escolhe, para cada crawler, uma entre três opções: permitir gratuitamente (Allow), cobrar (Charge) ou bloquear (Block).
A liquidação é intermediada pela Cloudflare como Merchant of Record, e um padrão de assinatura criptográfica chamado Web Bot Auth verifica a identidade do crawler para impedir que ele se passe por outro bot. Se o robots.txt é uma "solicitação" sem poder de imposição, o Pay Per Crawl é um "pedágio" cobrado no nível da rede.
O que ocorreu até agora
A partir do mesmo dia em que divulgou o Pay Per Crawl, a Cloudflare começou a bloquear por padrão os crawlers de IA em domínios recém-cadastrados, criando o cenário de "o padrão é bloquear; se quiser, cobre-se". Depois disso, os recursos relacionados foram integrados e ampliados no produto AI Crawl Control, e a configuração de respostas 402 foi liberada para todos os clientes pagos. Em fevereiro de 2026, o Stack Overflow anunciou, em conjunto com a Cloudflare, a adoção do Pay Per Crawl, relatando que boa parte dos crawlers não autorizados que receberam o 402 interromperam as tentativas de coleta. Ainda está em fase de validação se a cobrança por coleta se tornara uma fonte de receita significativa, mas é comum a avaliação de que ela está se tornando a infraestrutura técnica para as negociações de "remuneração por conteúdo" entre empresas de IA e publishers.
Sources:
- Introducing pay per crawl - Cloudflare
- GEO Data Report 2026: Crawl-to-Refer Ratio of AI Crawlers - SEOmator
- Why Stack Overflow and Cloudflare launched a pay-per-crawl model - Stack Overflow
Como o inblog Ajuda
O que é mais vantajoso - bloquear, cobrar ou permitir - depende do objetivo do conteúdo. Para um blog cujo objetivo é a exposição da marca nas respostas de IA, costuma ser mais vantajoso garantir visibilidade com conteúdo fácil de citar do que barrar os crawlers. Ao acompanhar, com a análise própria do inblog, o tráfego vindo de canais de IA como o ChatGPT, você pode definir sua política de acesso depois de avaliar, com dados, se o seu blog está de fato recebendo tráfego real como contrapartida pela coleta por IA.