Cloudflare, 'Pay Per Crawl' 도입: AI 검색엔진 시대, 새로운 표준?

Cloudflare의 'Pay Per Crawl' 정책 발표

2025년 7월, Cloudflare는 AI 크롤러들이 웹사이트의 콘텐츠를 자유롭게 수집해가는 기존 구조를 정면으로 반박하며, 'Pay Per Crawl' 정책을 발표했습니다. 이 정책은 간단히 말해, AI가 당신의 웹사이트를 크롤링하려면 이제 돈을 내야 한다는 구조입니다.

이에 앞서 Cloudflare는 AI 데이터 크롤러를 기본적으로 차단하는 새로운 설정을 도입한 바 있습니다. Cloudflare 를 통해 웹사이트를 호스팅한 운영자는 AI 크롤러에 대해 다음 3가지 정책 중 하나를 선택할 수 있습니다:

• 허용 (Allow): AI가 콘텐츠를 자유롭게 수집하게 허용

• 차단 (Block): AI의 접근을 완전히 차단

• 과금 (Charge): AI가 콘텐츠를 크롤링할 때마다 일정 금액을 과금

이제 크롤러는 자신이 AI인지, 어떤 용도로 데이터를 수집하는지 (예: 학습, 검색, 추론)를 명시해야 하며, Cloudflare는 이 요청에 대한 HTTP 402 코드와 함께 요금 정보를 반환합니다. 콘텐츠 소유자는 이를 통해 AI 트래픽에 대한 실질적 수익화 가능성을 얻게 된 것입니다.

그럼, Cloudflare는 어떤 회사인가?

Cloudflare(클라우드플레어)는 2010년에 설립된 미국의 인터넷 인프라 기업으로, 전 세계 약 20%의 웹사이트 트래픽을 처리합니다. 주요 서비스는 다음과 같습니다:

• CDN(콘텐츠 전송 네트워크): 전 세계 각지에 위치한 캐싱 서버를 통해 빠르게 콘텐츠 전달

• 웹 보안 (WAF, Bot 관리, SSL): DDoS 방어와 트래픽 제어

• DNS & 네트워크 인프라: 1.1.1.1 같은 고속 DNS 제공

특히 Cloudflare는 ‘웹의 안전망' 이라는 별명을 얻을 만큼, 많은 기업과 퍼블리셔들이 신뢰하는 플랫폼입니다. 이번 정책은 단순히 기능을 넘어서, 웹 생태계의 규칙을 바꾸는 선언이기도 합니다.

그럼 왜 Pay Per Crawl 이 SEO 관점에서 주목받는가?

AI 검색엔진의 등장 이후, 구글에 노출되는 횟수(Impressions)는 늘지만, 실제로 페이지로 들어오는 트래픽(Clicks)은 줄어드는 현상(Ahrefs에서는 이를 The Great Decoupling 이라고 이야기하기도 합니다)이 웹 전반에서 보이고 있습니다. 사람들이 더 이상 콘텐츠를 확인하기 위해 웹사이트로 들어오지 않고, AI 요약 정보만 보고 나간다는 것을 의미합니다.

이를 제로 클릭 서치라고 합니다. AI 검색엔진이 내 페이지를 아무리 많이 인용을 한들, 내 웹사이트에 들어오지 않는다면 우리는 어떻게 고객을 설득하고 전환시킬 수 있을까요? 이는 “무료로 좋은 정보를 제공하는 대신, 웹사이트로 고객 방문을 유도해 상품을 판매한다”는 SEO의 기본 명제를 심각하게 위협하고 있습니다.

이 때문에 Cloudflare는 콘텐츠 소유자가 수익을 얻을 수 있는 새로운 방법, Pay Per Crawl을 제시합니다.

Cloudflare의 Pay Per Crawl의 의의

Cloudflare의 정책은 단순한 기술적 조치 그 이상입니다. 아래와 같은 다섯 가지 의미를 담고 있습니다:

1. AI 크롤링에 대한 과금
   → 더 이상 공짜로 콘텐츠를 가져가선 안 된다는 메시지

2. 웹사이트 운영자의 권리 회복
   → AI가 콘텐츠를 쓸 수 있을지 결정하는 제어권이 생김

3. 크롤링 = 수익이 되는 구조의 가능성 제시
   → 콘텐츠 퍼블리셔 입장에서 새로운 수익원 등장

4. AI 크롤러의 정체성 인증 요구
   → User-Agent 위장이 아닌, 서명 기반 인증 (RFC 9421) 필요

5. 광고 의존 웹 구조의 대안 제시
   → 광고 대신 크롤링 수익이라는 새로운 가능성

커뮤니티에서 본 Pay Per Crawl 반응

Cloudflare의 발표 이후, Hacker News 와 개발자 커뮤니티(Reddit)에서는 열띤 논의가 이어졌습니다. 찬성과 반대 의견이 뚜렷하게 갈렸습니다.

👍 찬성 측: "이건 콘텐츠 생태계를 구할 방법이다"

• AI가 콘텐츠를 가져가는데 아무런 보상도 없다는 문제를 직시해야 한다

• 광고 모델은 사용자 프라이버시 침해와 정치적 조작까지 초래했다는 비판

• Pay Per Crawl 은 브라우저 수준의 결제/인용 추적 모델로까지 발전 가능

• Brave나 BAT처럼 기존에도 시도는 있었으나, Cloudflare는 실제 인프라 레벨에서 작동시켰다는 점에서 높이 평가

👎 반대 측: "실제로 작동하긴 어려울 것"

• 마이크로페이먼트는 인지적 피로감(cognitive load) 때문에 실패 가능성 높음

• 소액결제는 클릭조차도 유도하기 어렵고, 콘텐츠 소비를 위축시킬 수 있음

• Cloudflare가 웹 인프라의 게이트키퍼가 될 수 있다는 우려 (독점화)

• 진짜 문제는 누가 좋은 콘텐츠인지 어떻게 판단할 것인가? 에 대한 기준 부재

• 오히려 AI가 위장(User-Agent spoofing)해서 크롤링하는 문제가 심화될 가능성도 있음

Sangwon’s Thoughts

실제로 Stackoverflow 나 Chegg가 ChatGPT의 등장과 함께 내리막을 걸은 것을 보면 정보성 콘텐츠 원작자들이 AI 검색엔진에 의해 큰 손해를 받을 것이라는 것은 자명합니다. 원작자에 대한 보상은 어떤 방식으로든 이뤄져야 할 것으로 보입니다. 그렇지 않으면 우리는 더 이상 AI를 학습시키기 위한 양질의 데이터를 확보하기 힘들 것이고, 결국 모델 붕괴로 이어질 수도 있으니까요.

a16z 의 Chris Dixon 은 과거에 한 팟캐스트에서 번거로운 소액 결제 대신, AI 간의 크립토 결제 모델(AI-to-AI microtransactions)이 여기서 중요한 역할을 할 것이라는 흥미로운 관점을 제시하기도 했습니다.

앞으로 AI 검색엔진 시대, 어떤 미래가 펼쳐질까?

Pay Per Crawl은 단지 시작일 뿐입니다. AI 검색(AEO, GEO) 의 시대는 이미 시작되었고, 이 구조는 웹의 기본 비즈니스 모델을 전환시키고 있습니다.

이제 퍼블리셔는 단순히 AI에게 콘텐츠를 줄 것인지 말 것인지를 고민하는 게 아니라, '어떻게 협상하고 거래할 것인가?'를 고민해야 하는 시대가 되었습니다.

결론

Cloudflare는 Pay Per Crawl 모델을 통해 AI 검색엔진 시대에 새로운 수익모델을 제시함으로서 원작자들을 자사 플랫폼으로 끌어들이려 하고 있습니다. 이는 다른 호스팅/CDN 서비스를 사용하고 있는 개인 블로거들에게는 충분히 매력적인 제안으로 보일 수 있습니다.

다만 정보성 콘텐츠 그 자체로 돈을 버는 것이 목적이 아닌 비즈니스 블로그, B2B 블로그들은 새로운 과제를 맞이했습니다. 정보성 콘텐츠의 효과가 약해진다면 우리는 무엇으로 고객을 유입해야 할까요? LLMO, GEO, AEO 시대에 맞는 콘텐츠 전략에 대해서는 다음에 추가로 다뤄보도록 하겠습니다.

과연 Cloudflare의 시도가 성공할지, 아니면 웹이 퍼진 이후로 변하지 않았던 명제인 “정보의 무료화”는 AI 시대에도 여전히 공고할지 잘 지켜봐야 하겠습니다.