Pay Per Crawl
Pay Per Crawl es el modelo de cobro de Cloudflare que permite a los sitios web cobrar a un rastreador de IA por solicitud por el acceso a su contenido. Es el primer uso a gran escala del código de estado HTTP 402 (Payment Required), durante mucho tiempo inactivo, lanzado en beta privada el 1 de julio de 2025.
Pay Per Crawl es el modelo de cobro de Cloudflare que permite a los sitios web cobrar a un rastreador de IA por solicitud por el acceso a su contenido. Es el primer uso a gran escala del código de estado HTTP 402 (Payment Required), durante mucho tiempo inactivo, lanzado en beta privada el 1 de julio de 2025.
Por qué es importante
El rastreo de los motores de búsqueda siempre se ha apoyado en un intercambio implícito: se toma el contenido y se devuelve tráfico. El rastreo con IA rompió ese intercambio. Según un análisis de los datos de Cloudflare Radar del primer trimestre de 2026, el rastreador de Anthropic obtuvo unas 24.000 páginas por cada visitante que devolvió, y el de OpenAI unas 1.300, frente a la proporción de cerca de 5:1 de Googlebot. Para los editores que no reciben compensación a través del tráfico de referencia de IA, la única palanca solía ser el bloqueo. Pay Per Crawl añade una nueva: bloquear o monetizar.
Cómo funciona
- Cuando un rastreador solicita una página protegida, el servidor responde con un 402 y una cabecera que indica el precio por solicitud.
- Si el rastreador reintenta con una cabecera de intención de pago, recibe el contenido con un 200 OK. Los rastreadores también pueden declarar un precio máximo por adelantado y obtener el contenido de inmediato cuando el coste encaja.
- Los editores fijan un único precio fijo por solicitud para todo el dominio y eligen una de tres opciones por rastreador: Allow (gratis), Charge (cobrar) o Block (bloquear).
Cloudflare actúa como Merchant of Record para la liquidación, y un estándar complementario llamado Web Bot Auth verifica la identidad de los rastreadores con firmas criptográficas para que los bots no puedan suplantar una identidad más amistosa. Si robots.txt es una petición cortés sin capacidad de aplicación, Pay Per Crawl es un peaje impuesto a nivel de red.
Cómo está la situación
El mismo día en que anunció Pay Per Crawl, Cloudflare empezó a bloquear los rastreadores de IA por defecto en los dominios nuevos, estableciendo una postura de "bloqueado por defecto, de pago por elección". Desde entonces, la funcionalidad se ha integrado en el producto AI Crawl Control, y las respuestas 402 personalizadas están ya disponibles para todos los clientes de pago de Cloudflare. En febrero de 2026, Stack Overflow adoptó públicamente Pay Per Crawl con Cloudflare, e informó de que muchos rastreadores no autorizados simplemente dejaron de intentarlo al toparse con respuestas 402. Aún está por ver si los pagos por rastreo se convierten en una línea de ingresos relevante, pero el modelo se considera de forma generalizada la infraestructura técnica para las negociaciones de compensación por contenido entre las empresas de IA y los editores.
Sources:
- Introducing pay per crawl - Cloudflare
- GEO Data Report 2026: Crawl-to-Refer Ratio of AI Crawlers - SEOmator
- Why Stack Overflow and Cloudflare launched a pay-per-crawl model - Stack Overflow
Cómo ayuda inblog
Si lo más conveniente es bloquear, cobrar o permitir depende de para qué sirve tu contenido. Si tu blog existe para ganar exposición de marca dentro de las respuestas de IA, seguir siendo rastreable y ganar citaciones suele superar a dejar fuera a los rastreadores. La analítica integrada de inblog muestra el tráfico de referencia desde ChatGPT y otros canales de IA, de modo que puedes ver si el rastreo con IA te está compensando realmente en visitas y definir tu política de acceso a partir de datos en lugar de conjeturas.