Pay Per Crawl
Pay Per Crawl - это модель тарификации Cloudflare, которая позволяет взимать плату за каждый запрос всякий раз, когда ИИ-краулер забирает контент сайта. Это первый масштабный эксперимент с реальным использованием долго пустовавшего HTTP-кода состояния 402 (Payment Required); он был представлен в приватной бете 1 июля 2025 года.
Pay Per Crawl - это модель тарификации Cloudflare, которая позволяет взимать плату за каждый запрос всякий раз, когда ИИ-краулер забирает контент сайта. Это первый масштабный эксперимент с реальным использованием долго пустовавшего HTTP-кода состояния 402 (Payment Required); он был представлен в приватной бете 1 июля 2025 года.
Почему это важно
Краулинг поисковиков держался на негласном обмене "забираем контент, но возвращаем трафик", однако ИИ-краулинг этот обмен разрушил. По анализу за первый квартал 2026 года на данных Cloudflare Radar, краулер Anthropic забирал около 24 тысяч страниц на каждого одного приведённого на сайт посетителя, а OpenAI - около 1300 страниц. По сравнению с соотношением 5:1 у Googlebot разрыв разителен. У издателей, не получающих вознаграждения в виде реферального ИИ-трафика, прежде был лишь один выход - блокировка, а Pay Per Crawl добавил новый выбор: "блокировать или монетизировать".
Как это работает
- Когда краулер запрашивает защищённую страницу, сервер отвечает кодом 402 и сообщает в заголовке цену за запрос.
- Когда краулер запрашивает снова с заголовком, выражающим намерение оплатить, он получает 200 OK вместе с контентом. Поддерживается и вариант, при котором краулер заранее объявляет "максимально допустимую цену" и сразу получает контент, если цена ниже этого порога.
- Издатель задаёт фиксированную цену за запрос для всего домена и для каждого краулера выбирает одно из: бесплатный доступ (Allow), тарификацию (Charge) или блокировку (Block).
Расчёты Cloudflare ведёт как Merchant of Record, а личность краулера проверяется криптографическим стандартом подписи Web Bot Auth, что не даёт выдавать себя за другого бота. Если robots.txt - это "просьба" без принудительной силы, то Pay Per Crawl - это "пункт оплаты", который применяется на сетевом уровне.
Как разворачивались события
В тот же день, когда был представлен Pay Per Crawl, Cloudflare начала по умолчанию блокировать ИИ-краулеров для новых регистрируемых доменов, создав конфигурацию "по умолчанию блок, по желанию тарификация". Затем соответствующие функции были объединены и расширены в продукте AI Crawl Control, а настройка ответа 402 открыта всем платным клиентам. В феврале 2026 года Stack Overflow вместе с Cloudflare объявил о внедрении Pay Per Crawl, сообщив, что значительная часть несанкционированных краулеров, получивших 402, прекратила попытки сбора. Станет ли тарификация краулинга значимым источником дохода, ещё на стадии проверки, но распространена оценка, что она становится технической инфраструктурой для переговоров о "плате за контент" между ИИ-компаниями и издателями.
Источники:
- Introducing pay per crawl - Cloudflare
- GEO Data Report 2026: Crawl-to-Refer Ratio of AI Crawlers - SEOmator
- Why Stack Overflow and Cloudflare launched a pay-per-crawl model - Stack Overflow
Как помогает inblog
Что выгоднее - блокировка, тарификация или разрешение, - зависит от цели контента. Если это блог, цель которого - показ бренда в ответах ИИ, то часто выгоднее не закрывать краулеров, а обеспечивать видимость контентом, который удобно цитировать. Если с помощью собственной аналитики inblog отслеживать привлечение из ИИ-каналов вроде ChatGPT, можно по данным определить, получает ли ваш блог реальный трафик в обмен на ИИ-краулинг, и уже затем выбрать политику доступа.