Pay Per Crawl
Pay Per Crawl e o modelo de cobranca da Cloudflare que permite a um site cobrar por requisicao sempre que um crawler de IA coleta o conteudo do site. E o primeiro experimento em larga escala a usar de fato o codigo de status HTTP 402 (Payment Required), que ficou ocioso por muito tempo, lancado em beta privado em 1 de julho de 2025.
Pay Per Crawl e o modelo de cobranca da Cloudflare que permite a um site cobrar por requisicao sempre que um crawler de IA coleta o conteudo do site. E o primeiro experimento em larga escala a usar de fato o codigo de status HTTP 402 (Payment Required), que ficou ocioso por muito tempo, lancado em beta privado em 1 de julho de 2025.
Por que importa
A coleta pelos mecanismos de busca sempre se sustentou sobre uma troca implicita: "em troca de levar o conteudo, devolve-se trafego". Mas a coleta por IA quebrou essa troca. Segundo analise baseada em dados do Cloudflare Radar referente ao primeiro trimestre de 2026, enquanto enviava 1 visitante ao site, o crawler da Anthropic coletou cerca de 24 mil paginas, e o da OpenAI, cerca de 1.300. Comparada a proporcao de 5:1 do Googlebot, a diferenca e gritante. Para os publishers que nao sao compensados pelo trafego de referencia de IA, a unica opcao existente era bloquear; o Pay Per Crawl acrescentou uma nova: "bloquear ou monetizar?".
Como funciona
- Quando o crawler solicita uma pagina protegida, o servidor responde com um 402 e informa o preco por requisicao em um cabecalho.
- Quando o crawler solicita de novo, com um cabecalho que expressa a intencao de pagamento, ele recebe o conteudo junto de um 200 OK. Tambem ha suporte a um modo em que o crawler declara antecipadamente um "preco maximo a pagar" e, se o valor ficar abaixo disso, recebe o conteudo na hora.
- O publisher define um preco fixo por requisicao, aplicado a todo o dominio, e escolhe, para cada crawler, uma entre tres opcoes: permitir gratuitamente (Allow), cobrar (Charge) ou bloquear (Block).
A liquidacao e intermediada pela Cloudflare como Merchant of Record, e um padrao de assinatura criptografica chamado Web Bot Auth verifica a identidade do crawler para impedir que ele se passe por outro bot. Se o robots.txt e uma "solicitacao" sem poder de imposicao, o Pay Per Crawl e um "pedagio" cobrado no nivel da rede.
O que ocorreu ate agora
A partir do mesmo dia em que divulgou o Pay Per Crawl, a Cloudflare comecou a bloquear por padrao os crawlers de IA em dominios recem-cadastrados, criando o cenario de "o padrao e bloquear; se quiser, cobre-se". Depois disso, os recursos relacionados foram integrados e ampliados no produto AI Crawl Control, e a configuracao de respostas 402 foi liberada para todos os clientes pagos. Em fevereiro de 2026, o Stack Overflow anunciou, em conjunto com a Cloudflare, a adocao do Pay Per Crawl, relatando que boa parte dos crawlers nao autorizados que receberam o 402 interromperam as tentativas de coleta. Ainda esta em fase de validacao se a cobranca por coleta se tornara uma fonte de receita significativa, mas e comum a avaliacao de que ela esta se tornando a infraestrutura tecnica para as negociacoes de "remuneracao por conteudo" entre empresas de IA e publishers.
Sources:
- Introducing pay per crawl - Cloudflare
- GEO Data Report 2026: Crawl-to-Refer Ratio of AI Crawlers - SEOmator
- Why Stack Overflow and Cloudflare launched a pay-per-crawl model - Stack Overflow
Como o inblog Ajuda
O que e mais vantajoso - bloquear, cobrar ou permitir - depende do objetivo do conteudo. Para um blog cujo objetivo e a exposicao da marca nas respostas de IA, costuma ser mais vantajoso garantir visibilidade com conteudo facil de citar do que barrar os crawlers. Ao acompanhar, com a analise propria do inblog, o trafego vindo de canais de IA como o ChatGPT, voce pode definir sua politica de acesso depois de avaliar, com dados, se o seu blog esta de fato recebendo trafego real como contrapartida pela coleta por IA.