AI 어플리케이션 전성시대 - 한국은?

Mar 31, 2024

Contents

Cool Demos AI는 이제 시작 The Bottleneck Building an AI Application Compute Credits - 미래의 새로운 석유 AI 스타트업과 VC 펀드레이징 사이클 VC 펀딩과 AI 스타트업 flywheel Conclusion P.S.

최근 다양한 스타트업에서 공개되는 놀라운 데모들을 보면서 드디어 AI 어플리케이션의 전성시대가 열린 것 처럼 보입니다.

Cool Demos

Cognition Labs에서 공개한 AI 코딩 에이전트 Devin은 “autonomous agent”로 코딩 워크플로우를 혁신합니다(more here).

최근 Benchmark에서 $440M 밸류에이션에 $60M을 투자받은 HeyGen은 기업 고객을 위해 매우 현실적인 AI 아바타 + 목소리를 생성해줍니다. 아예 새로운 개인화 세일즈/마케팅의 시작 아닐까요?

Empathic AI 회사 Hume AI는 똑똑하지만 딱딱한 AI에게 감정(emotion) 슈퍼파워를 부여합니다.

AI를 활용한 엄청난 프로덕트들이 매일 쏟아져 나오고 있습니다. AI는 더 이상 리서치 랩 내 연구분야나 프로토타입이 아니라 실제 다양한 플레이어들이 in production에서 생산성, 효율성, 고객 만족을 위해 사용하고 있는 어플리케이션입니다.

드디어 AI 어플리케이션의 상용화가 시작되고 있습니다. Possibilities are endless!

AI는 이제 시작

AI의 파급력은 어마무시할 것입니다.

2010년 전체 글로벌 소프트웨어 시장(TAM)은 약 $350B, 그 중 클라우드 SaaS는 $6B (~2%) 수준이었습니다. 시간이 흘러 작년(2023년)엔 전체 소프트웨어 시장은 $600B으로 성장했습니다. 클라우드 소프트웨어는 그 중 $400B (~67%!)를 차지합니다. 클라우드 소프트웨어는 15년 동안 연간 40% 성장하고 기존 레거시 소프트웨어를 대체하게 됩니다.

클라우드 소프트웨어는 기존 레거시 소프트웨어를 대체하지만 AI는 소프트웨어 뿐만 아니라 서비스 시장까지의 파급력이 예상됩니다. 서비스+소프트웨어 시장의 TAM은 $10 trillion; AI의 현재 시장규모는 $3B입니다.

AI는 이제 시작입니다.

💡

Sequoia’s AI Ascent 2024 (Link)

The Bottleneck

AI 어플리케이션을 쉽게 개발할 수 있는 다양한 인프라와 도구가 이젠 존재합니다. 각자 use case에 맞게 거대한 자본 없이도 pre-trained foundation model을 골라 쓸 수 있으며, 전문지식 없이도 fine-tuning, orchestration 등을 할 수 있도록 도와주는 추상화(abstraction) 서비스(LangChain, Hugging Face)가 있습니다.

The 10 trillion dollar question: 하지만 왜 미국, 프랑스 등 다른 국가 대비 한국에선 AI 생태계가 활성화 되지 않고 있을까요?

기존 소프트웨어 개발과 달리 AI 프로덕트는 개발을 위해 꽤 많은 초기 자본금 (GPU, 또는 클라우드 크레딧)이 필요합니다. 뿐만 아니라 프로덕트를 시장에 테스트하고 피드백을 얻는 과정에서도 투자(inference cost)가 필요합니다. 단칸방에서 라면만 먹고 서버비용만 낼 수 있으면 프로덕트 개발이 가능했던 “lean startup” 시절과 다릅니다.

Building an AI Application

AI 어플리케이션의 개발 과정을 간단하게 표현해봤습니다:

풀고자 하는 문제를 정하고 다양한 AI 솔루션를 실험; 직접 모델 개발, fine-tuning, orchestration 등

사용처에 맞게 정확도, 가격, 속도 등을 optimize함

Freemium 모델, 플레이그라운드 등 고객이 사용해 볼 수 있도록 제공

사용 데이터를 분석/평가하고 PMF 여부를 확인

사이클을 실현해보고 얻은 인사이트 기반으로 새로운 실험 실행

보시다시피 모든 스텝에서 비교적 minimal 한 단순 서버비용, SaaS 비용 등 뿐만 아니라 꽤 많은 compute 비용 투자가 불가피합니다.

Compute Credits - 미래의 새로운 석유

기존 소프트웨어 투자는 매우 단순하게 보자면, X 팀이 “린”한 방법으로 Minimum Viable Product(MVP)를 개발하여 시장에 테스트하고 PMF 시그널이 보이면 투자가 집행 되었습니다.

하지만 AI에선 앞서 말씀드린 바와 같이 개발단계부터 compute credit을 구매하기 위해 꽤 유의미한 자본이 필요합니다.

이 갭을 해소하기 위해 미국에선 hyperscalers (Azure, AWS, GCP), 또는 foundation model (OpenAI, Mistral 등) 회사 주도하에 얼리 팀들에게 compute credit을 무료로 제공하기도 합니다. 자기 플랫폼에 lock-in 시키고 스타트업을 육성한다면 미래에 충분히 회수되고도 남기 때문에 win-win입니다.

아쉽게도 국내엔 스타트업 육성을 위해 이렇게 “pay-it-forward” 할 여력이나 인센티브가 있는 플레이어가 없습니다.

결국 VC로부터 펀드레이징 할 수 있는 매우 한정적인 팀들만 AI 프로덕트를 제대로 시도할 수 있는 상황처럼 보입니다.

💡

최근 카카오벤처스가 Microsoft와 손 잡아 얼리 팀들을 위한 GenAI 창업톤을 발표했습니다. 참가 팀 모두에게 2억원 상당의 Azure Credit을 제공합니다. 제가 알기론 국내에서 첫 시도인 것처럼 보이며 이러한 이벤트들이 더욱 많아지면 좋겠습니다!

AI 스타트업과 VC 펀드레이징 사이클

AI 어플리케이션을 power할 수 있는 자원은 두 가지입니다: 1) compute credit, 또는 2) compute credit을 살 수 있는 자본.

국내에선 experimental compute credit을 얼리 팀들에게 무료로 제공하는 이벤트가 매우 제한적이다보니 VC 펀딩이 유일한 방법입니다.

하지만 VC도 자선단체가 아니죠. 오로지 Proven 팀들에게만 대규모 VC 펀딩이 몰리게 됩니다. LLM 리더보드에서 훌륭한 성과를 보여주고 계신 Upstage, 멀티모덜 모델로 Index Ventures, NVIDIA 등 해외에서도 인정받고 계신 Twelve Labs, 모델 경량화 스타트업 Squeezebits 등이 있습니다.

VC 펀딩과 AI 스타트업 flywheel

현재 국내 VC 펀딩은 매우 한정적인 몇 곳의 스타트업에 집중되고 있습니다. 아쉽게도 국내에선 AI 어플리케이션 스타트업이 flywheel을 시작하기 위해선 펀딩이 필요할 수 밖에 없고, 다양한 참여자에게 기회가 돌아가지 않습니다.

How the hell do you expect them to find PMF, compete globally, let alone build a product, when the very thing they’re trying to experiment and build requires cash?

그렇다면 시장 내 매우 펀딩을 잘 받는 특별한 케이스/팀들 외에는 austerity(내핍) 조건에서 매우 제한적인 자원(talent, compute, capital 등)을 zero~few shot 기회만으로 시도할 수 밖에 없는 상황이며 건강한 생태계가 나오기 쉽지 않은 구조입니다.