Pay Per Crawl(페이 퍼 크롤)이란? | GEO 용어집

페이 퍼 크롤(Pay Per Crawl)은 AI 크롤러가 웹사이트 콘텐츠를 가져갈 때마다 요청 단위로 요금을 부과할 수 있게 하는 Cloudflare의 과금 모델입니다. 오랫동안 비어 있던 HTTP 상태 코드 402(Payment Required)를 실제로 사용하는 첫 대규모 실험으로, 2025년 7월 1일 프라이빗 베타로 공개됐습니다.

왜 중요한가

검색엔진 크롤링은 '콘텐츠를 가져가는 대신 트래픽을 돌려준다'는 암묵적 교환 위에 성립해 왔지만, AI 크롤링은 이 교환을 깨뜨렸습니다. Cloudflare Radar 기반 2026년 1분기 분석에 따르면 Anthropic 크롤러는 사이트에 방문자 1명을 보내는 동안 약 2만 4천 페이지를, OpenAI는 약 1,300페이지를 가져갔습니다. 구글봇의 5:1과 비교하면 격차가 극명합니다. AI 리퍼럴 트래픽으로 보상받지 못하는 퍼블리셔에게 기존 선택지는 차단뿐이었는데, 페이 퍼 크롤은 '차단할 것인가, 수익화할 것인가'라는 새로운 선택지를 추가했습니다.

작동 방식

크롤러가 보호된 페이지를 요청하면 서버가 402 응답과 함께 요청당 가격을 헤더로 알려줍니다.
크롤러가 결제 의사를 담은 헤더와 함께 다시 요청하면 200 OK와 함께 콘텐츠를 받습니다. 크롤러가 미리 '최대 지불 가능 가격'을 선언하고 그 이하면 즉시 받는 방식도 지원합니다.
퍼블리셔는 도메인 전체에 적용되는 요청당 고정 가격을 설정하고, 크롤러별로 무료 허용(Allow)·과금(Charge)·차단(Block) 중 하나를 선택합니다.

정산은 Cloudflare가 Merchant of Record로 대행하고, Web Bot Auth라는 암호화 서명 표준으로 크롤러 신원을 검증해 다른 봇으로 위장하는 것을 막습니다. robots.txt가 강제력 없는 '요청'이라면, 페이 퍼 크롤은 네트워크 레벨에서 집행되는 '요금소'입니다.

현재까지의 전개

Cloudflare는 페이 퍼 크롤 공개와 같은 날부터 신규 가입 도메인의 AI 크롤러 기본 차단을 시작해 '기본은 차단, 원하면 과금'이라는 구도를 만들었습니다. 이후 관련 기능은 AI Crawl Control 제품으로 통합·확장됐고, 402 응답 설정은 모든 유료 고객에게 개방됐습니다. 2026년 2월에는 Stack Overflow가 Cloudflare와 함께 페이 퍼 크롤 도입을 공개하며, 402를 받은 무단 크롤러 상당수가 수집 시도를 멈췄다고 밝혔습니다. 크롤링 과금이 의미 있는 수익원이 될지는 아직 검증 단계지만, AI 기업과 퍼블리셔 사이 '콘텐츠 대가' 협상의 기술 인프라가 되고 있다는 평가가 일반적입니다.

Sources:

inblog에서 활용하기

차단·과금·허용 중 무엇이 유리한지는 콘텐츠의 목적에 따라 다릅니다. AI 답변에서의 브랜드 노출이 목적인 블로그라면 크롤러를 막기보다 인용되기 좋은 콘텐츠로 가시성을 확보하는 쪽이 유리한 경우가 많습니다. inblog의 자체 애널리틱스로 ChatGPT 등 AI 채널발 유입을 확인하면, 내 블로그가 AI 크롤링의 대가로 실제 트래픽을 받고 있는지 데이터로 판단한 뒤 접근 정책을 정할 수 있습니다.