이번 주 AI 검색엔진 업체들의 다양한 소식이 전해졌습니다.
What happened in search?
Bret Kinsella의 블로그 포스트에서 주요 내용을 요약했습니다:
- OpenAI는 로그인 없이도 ChatGPT를 제공하기 시작함 (기사링크)
- Perplexity는 기존 광고에 대한 부정적 stance를 거두고 광고 모델을 시험할 예정 (기사링크)
- Google은 2023년 5월 무료로 시범적으로 출시한 Google Search Generative Experience(SGE)의 구독모델 과금화를 구상 중 (기사링크)
- 이와 별도로 몇일 전 Google은 Hubspot (Salesforce 경쟁사 CRM 툴) 인수를 고려하고 있다는 Leak (기사링크) —> Google이 검색광고를 통해 소비자 구매 여정 내 첫 단계(CTR) 뿐만 아니라 전체를 아우르는 horizontal expansion 인수시도로 풀이됨; 성사될지는 미지수
이 업체들의 전략적 피봇(pivot)은 각 프로덕트의 form factor, monetizability 등 뿐만 아니라 AI 생태계 내 다양한 플레이어에게도 파급효과가 있을 것으로 예상합니다.
AI 대어들의 새로운 시도, 또는 전략 전환 사례가 생태계 내 의미하는 바가 무엇인지 고민해봤습니다.
So what?
1. 본격적인 출혈 경쟁 시작
챗봇 출혈 경쟁
OpenAI는 AI 어플리케이션 중 압도적 1위입니다.
- OpenAI에 따르면 185개 국가에서 주 마다 약 1억명(WAU)이 ChatGPT를 사용
- 트래픽 트래커 SimilarWeb에 따르면 ChatGPT는 약 1.8억명의 계정, 2024년 2월 기준 16억 방문을 기록
아시다시피 ChatGPT 프리미엄(GPT-4, Dall-E 등)은 월간 $20 subscription을 과금하지만 기본 플랜(GPT-3.5)은 무료로 제공합니다.
ChatGPT의 비용구조는 공개되어 있지 않지만 일당 $700,000, 또는 query 당 $0.36로 추정(2023/04 The Information)되고 있습니다.
- 일당 $700,000 가정 시, 2024년 2월 간 약 $20M (약 200억원)
- 2024년 2월 16억 방문자 당 query 1개를 가정하여 단순 계산하면 월간 $576M (~6,000억원)
2023년 4월 기사 이후 당연히 여러 optimization으로 query 당 비용이 많이 내려왔을 것으로 생각(illustration purpose only)합니다. 하지만 여전히 large scale throughput + speed 챗봇을 무료로 서비스하는 것은 매우 비쌀 것으로 생각됩니다.
몇 달 전까지만 해도 ChatGPT usage limit까지 있었는데 이젠 대량의 사용자가 쉽게 접근할 수 있도록 계정과 로그인 없이도 사용할 수 있게 풀어주었습니다.
100 million users in 2 months
What does this mean? 챗봇 생태계 파괴자
- 대규모 사용자를 안정적으로 핸들링 할 수 있는 인프라가 준비 되었고, query 원가도 크게 개선되었다는 의미로 풀이됨
- 월간 $20 프리미엄 플랜의 cannibalization이 불가피함에도 불구하고 단기 수익보단 사용층 증가(ChatGPT adoption 촉진)에 매진 —> 무료 Tier를 subsidize하는 비용 = CAC
- 또한, 내부적으로 단기적 수익보다 사용 데이터가 더 가치 있다는 판단으로 사료됨 (OpenAI - How your data is used to improve performance)
AI 사업화 진행 과정에서 챗봇 뿐만 아니라 API 사업 또한 출혈경쟁이 일어나고 있었습니다. Closed 모델 뿐만 아니라 다양한 오픈소스 플레이어들이 참여하면서 많은 전문가들은 Model Provider(모델 제공자들)이 API 비용을 “at or below cost”로 제공한다는 추측이 많습니다.
매우 단순히 보면 장기적으로 봤을 때 Model Provider들 중 pricing power를 가질 수 있는 플레이어는 frontier AI capability를 보유한 플레이어들 (현재는 OpenAI, Anthropic) 외엔 상당히 어려울 것으로 보입니다.
그 외에 frontier 레벨을 제공하지 못하는 Closed, 또는 오픈소스 플레이어들은 모델 자체의 경쟁력보다 그러한 모델이 제공하지 못하는 새로운 value proposition (개발자 친화적, 다루기 쉬움, 가격 경쟁력 등) 또는 cross-sell 할 수 있는 tool, 서비스 등이 중요할 것으로 판단합니다 (예. 오픈소스: Databricks DBRX + data services, Mistral + MLOps 등).
현재 LLM은 대체로 switching cost가 사실상 0에 가깝습니다. Frontier AI model provider가 아니라면 고객을 lock-in할 수 있는 다른 무언가가 있어야 합니다.
2. AI Search에서 Vanilla SaaS 비즈니스 모델은 끝났다
Perplexity도 광고 도입 예정
Perplexity가 기존 ad-free 비전을 버린 것도 ad-free plain vanilla 구독형 모델이 search에서 워킹하지 않는다는 뜻으로 볼 수 있을 것 같습니다.
2024년 3월 11일 Perplexity About 페이지; “Searching for information should be straightforward, efficient experience, from the influence of advertising-driven models”
2024년 4월 6일(오늘) Ad 계획 발표 이후 ad-free 비전 내용 삭제
Perplexity는 최근 월 기준 약 5,240만 방문을 자랑하지만 대다수의 유저들이 과금 가능한 Premium Plan이 아니라 무료 tier를 사용 중입니다.
물론 ChatGPT의 16억 방문보단 미미하지만 여전히 OpenAI와 같이 거대 펀딩($14B raised to date)과 $2+ “ARR”(source)이 없는 Perplexity에겐 사용자 유치를 위해 무료 tier에게 퍼주고 있는 일종의 “CAC”는 큰 부담($102M raised to date)일 것입니다.
이러한 구조가 지속가능하지 않다고 판단한 Perplexity는 무료 사용자의 검색 결과 옆에 광고 placement를 진행할 계획입니다.
Perplexity는 AI를 사용하여 web search (video, image, text, partner data such as Yelp)를 기반으로 사용자의 질문에 답변합니다. 그리고 답변 후 사용자가 추가로 관심있어할 만한 “follow-up question”을 제안합니다.
재밌는 것은 이러한 “follow-up question”들이 전체 query의 40%를 차지하며 브랜드들이 follow-up question을 influence할 수 있도록 하여 native 광고 프로덕트를 도입할 예정이라고 합니다. 사용자가 주제에 더 깊이 파고들 때, Perplexity는 follow-up question 추천 시 유동적으로 브랜드 스폰서의 메시지를 “nudge” 할 수 있습니다.
이러한 광고 프로덕트가 얼마나 좋은 ROAS 결과를 보여줄지, 사용성은 어떻게 바뀔지 등 지켜봐야 할 것 같습니다.
Google은 SGE에 SaaS 과금화 도입 검토 중
Google 2023년 전체 매출 $306B 중 $175B이 Search Revenue입니다. Search 매출의 영업이익 마진은 75% 이상 (Gross Profit이 아니라 영업이익! Source)으로 추정됩니다. 하지만 Microsoft Bing, Perplexity 등 AI-native 서치 엔진의 등장 후 처음으로 Google의 monopoly에 찐 위협이 나타났습니다.
아직까진 Google이 search dominance를 유지하고 있지만 생성형 AI 등장으로 Google의 마진 프로필이 크게 변화(margin compression)할 가능성이 있습니다. 이에 2023년 5월 대항마로 Google SGE (Search Generative Experience)를 내놨습니다.
이 프로덕트는 생성AI와 10 blue links의 하이브리드 모델로 기존 검색광고를 살리면서 단순한 답변은 AI로 보강하는 모델입니다. 하지만 여전히 Google은 margin compression 위협으로부터 자유로울 수 없습니다.
- 비용: 앞서 ChatGPT의 query 당 비용을 봤듯이 기존 10 blue link query 비용 대비 생성형 AI query의 비용은 약 10배 이상 비쌀 것(source)으로 추정됩니다. 적어도 단기적으로는 생성AI 도입 시 강력한 75%+ 영업이익 마진을 갉아먹을 것으로 예상됩니다.
- 매출: Google의 Search 매출은 검색 광고 모델에 크게 의존하고 있지만, 생성 AI의 답변은 광고 placement가 애매합니다. 억지로 광고를 AI 답변에 끼워넣을 경우, 사용자 경험을 심각하게 저해할 수 있습니다. 또한, 생성형 AI 답변은 자연스럽게 CTR을 낮추고 기존 검색 광고모델의 cannibalization이 예상됩니다.
이러한 문제로 Google은 현재 SGE를 구독방식으로 과금화하여 lost revenue + increased cost를 subsidize하는 방법을 고려 중(source)입니다. 진행될 경우, Google이 핵심 제품을 유료로 제공하는 첫 번째 사례가 될 것입니다.
3. AI 대어들의 BM재편으로 유추할 수 있는 AI 전략 방향성
AI-native 프로덕트는 원천적으로 새로운 BM과 RM을 요구할 것으로 생각합니다. 초기 R&D와 CapEx 비용을 제외하고도 기존 구독형 SaaS의 비용구조에 대형 변동비용(inference cost)이 추가되기 때문입니다.
이러한 특성 때문에 가장 make sense하는 과금방식은 usage-based pricing (API), 또는 cross-selling (ads)이며 inference cost가 획기적으로 효율화 되기 전까진 SaaS의 80~90% gross margin은 보지 못할 것입니다. 1) Inference cost와 같은 변동성 비용이 추가된 이유도 있지만 2) AI capability가 대체로 commoditize 되어 무한경쟁이 불가피하며 지속적인 downward pricing pressure이 한동안 예상되기 때문입니다.
AI-native 프로덕트는 세 가지 전략을 택할 수 있다고 생각합니다.
- 대규모 펀드레이징 + 다양한 방법 (build from ground up, fine-tuning, SLM 등)으로 optimization을 거쳐 경쟁사 대비 매력적인 원가구조 기반으로 공격적인 가격정책 (예. Groq, Photoroom 등)
- 비용보다 quality(성능)이 훨씬 중요한 extremely high value workflow (헬스케어, 법률 등)을 타겟하여 해당 버티컬 내 frontier 수준의 프로덕트 제시
- 기존 LLM이 commoditize한 value proposition과 별도로 새로운 feature 제공 (예. AI safety guardrail 때문에 아웃풋 제한이 많은 LLM과 대비하여 가능성이 열려 있는 LLM, 현재 context window 한계를 깨고 ability to seamlessly integrate long-term, multi-modal memory to LLM 등)
AI 생태계 내 치열한 경쟁이 펼쳐지고 있는 상황에서 지속가능한 회사는 위 3가지 중 하나 (most likely 1 or more)를 미치도록(?) 잘해야 되는 싸움인 것으로 보여집니다.
물론 GPT-N이 출시되어 경쟁우위를 하루 아침에 없애버릴 수 있다는 불안감은 여전히 남아있습니다.
AI 산업을 공부하면 공부할 수록 어렵고 예측하기 힘든 것 같습니다.
What I Read/Watched This Week (2X2X2):
Most interesting 2 articles, 2 podcasts, 2 tweets I consumed this week.
2 Articles
- The rise of Joshua Kushner: How the young VC quietly built a $5.3 billion firm, Thrive Capital (류기백 대표님)
2 Podcasts/Youtube
- AI integration for enterprise ft. CJ Desai of ServiceNow (ServiceNow와 AI 블로그)
- Sam Altman: OpenAI, GPT-5, Sora, Board Saga, Elon Musk, Ilya, Power & AGI | Lex Fridman Podcast #419
2 Tweets
- Bill Gurley (Benchmark): How do you think about the dramatic price-drop with older models on AI LLMs. 1/60th the price is unprecedented. Does this imply a super steep demand curve? Supply glut? (link)
- Clement Delangue (Hugging Face): Fine-Tuning vs. RAG + Post-processing (link)
Share article
Subscribe to my newsletter