#10: AI의 미래 - Coatue가 주목한 AI 산업 트렌드

주요 주제

• AI는 왜 다른 Hype Cycle과 다를까?

• AI 밸류체인 내 어디에 투자 기회가 있을까?

• Open-Source vs. Closed Source —> 누가 이길까?

• AI Dev Tool 내엔 어떤 기회가 있을까? (Inference Serving)

• AI 어플리케이션 내에선 스타트업이 대기업(Incumbent)을 이길 수 있을까?

AI는 다른 Hype Cycle과 다르다!

• 메타버스, NFT 등과 달리 AI는 인터넷, 스마트폰 혁명과 비슷하게 새로운 패러다임 전환이 될 것이다 (왜 투자 침체기인 지금이 창업 적기인가)

• 매 테크 혁신마다 인구 50%를 침투하기 까지 시간을 반으로 줄었고, 이전 모바일 혁명이 6년을 걸린 것을 보면 Gen AI는 3년 내로 될 수도 있지 않을까?

• 침투율 외 Gen AI의 높은 관심도를 볼 수 있는 선행지표는 많다.

• 2008년 이후 S&P 500 회사에서 인당 생산성은 정체되어 있었다. AI가 새로운 Productivity Booster이 될 수 있을까?

• 개인적으로 위 차트를 보고 놀랐다.
• 생산성은 경제 성장률과 직결되어 있다. 2008년 이후에 모바일, 클라우드, 하드웨어 등 많은 테크 혁신이 있었음에도 생산성은 오늘까지 아무런 변화가 없다.

• 실제로 생산성을 증가시키는 중요한 테크 개발이 없었던 걸까? 아님, 테크는 개발했지만 이를 상쇄 시키는 무언가(inefficiency)가 있었을까 (인당 일하는 시간 하락, Regulation 등)?

• AI는 실제로 Productivity Booster가 될 수 있을까? 아니면 사회적/제도적으로 AI로 인해 얻는 생산성을 다른 곳으로 상쇄 시키는 무언가가 탄생할까?

• Coatue는 “hype cycle”들을 크게 3가지로 categorize한다
• 1) Value accrual misaligned with investment
• 현재 AI 모델 hype를 1990년대 fiber optics 마니아로 예를 든다. 1990년대 인터넷이 뜨면서 미국 텔레콤사들이 미래 인터넷 시장을 선점하기 위해 기존 낙후된 동 케이블을 대체할 fiber optics 케이블을 너도나도 미국 전역에 공격적으로 설치했다.
• 이 때 Telco 회사들이 투자 받은 금액은 총 약 2,200조원($2.2T). 닷컴 버블이 터지고 난 후, Worldcom, Global Crossings 등이 파산했다.
• 오늘 AI 모델이 AI 전체 투자금액의 60%를 차지한다. 대기업 출신 AI 전문가가 모델 회사를 창업하면 조 단위 밸류에이션에 몇 천억원 규모의 라운드를 유치했다는 소식(Anthropic, Inflection, Adept, Mistral, Imbue 등)은 자주 들려온다. 현재 명확한 위너가 보이지 않는 Foundational Model 레이어에 대한 투자는 2001년 Telecom Bubble을 연상시킨다.



• 2) Overestimating timeline & capabilities of technology
• 자율주행 시스템을 예시로 든다. 사람들이 예상했던 것보다 L5 자율주행의 도입이 많이 늦어지고 있다. 기술 도입 타임라인이 뒤로 미뤄지면서 초기에 높은 기대감에 높은 밸류로 투자한 회사들은 손해를 보고 있을 것이다.
• 하지만 AI는 다르다고 주장한다. AI는 (트랜스포머 페이퍼 이후) 상용화 5년 만에 실제로 사용되고 있다.
• 개인적으로 Self-Driving tech과 비교하는 것은 적절하지 않다고 보고 있다. 자율주행 기술 도입이 늦어진 가장 큰 이유는 기술의 하자보다 자율주행 기술에 대한 사회적 합의가 선행되지 못했고, 이에 따른 엄격한 정부 규제 때문이라고 생각한다. 기술 초기에 투자한 자들은 기술은 이해했어도 새로운 기술에 대해 큰 사회적 저항과 엄격한 정부 규제를 예상하지 못했다고 생각한다.
• AI 또한 규제 리스크가 존재한다. 하지만 생명과 직결되어 있고 누구나 쉽게 consequence를 이해할 수 있는 자율주행과 달리 1st~Xth order outcome을 이해하기 어려운 AI는 이러한 엄격한 규제보단 자유로울 수 있을 것이라고 생각한다.
• 3) Lack of widespread utility due to maturity of technology
• 퀀텀 컴퓨팅을 예시로 든다. 개인적으로 퀀텀 컴퓨팅이 무엇인지 제대로 이해하지 못하고 있기 때문에 공감하기 어렵다.
• 극히 개인적인 의견으로, Coatue가 왜 메타버스나 NFT 같은 최근 현상을 예시로 들지 않았는지 의문이다. “Lack of widespread utility”라고 하면 누구나 공감할 수 있는 대목이 NFT일텐데… Opensea 투자 때문일까?

AI 밸류체인 내 투자 기회

• AI 밸류체인은 크게 1) 하드웨어 (e.g. NVIDIA, 망고부스트, 리벨리온 등), 2) 클라우드 플랫폼 (e.g. Azure, Lambda 등) , 3) AI Model (e.g. OpenAI, Hugging Face 등), 4) AI Dev Tools (e.g. MongoDB 분석, LangChain 등), 5) AI Apps (e.g. ChatGPT, PhotoRoom 분석, Jenni AI 분석)로 나뉜다.

• 개인적으로 하드웨어, 클라우드 플랫폼, Foundational 모델 분야는 얼리 스테이지 투자 관점에선 게임이 끝났다고 본다. 솔직히 해당 기술을 underwriting할 능력도 없기에 그렇게 생각하는 것이 내 정신건강에 이로울 것 같다.

• (이해도는 매우 낮지만) 그래도 AI 모델, AI Dev Tools, AI 어플리케이션 내 어떤 투자 포인트를 갖고 있는지 정리해보자.

AI 모델 (Open vs. Closed Source?)

• AI 모델 레이어 내 투자기회는 크게 1) open-source, 2) closed source가 있다.

• Open vs. Closed 문제는 AI산업을 본 사람은 누구나 생각해봤을 대목이다. 현재 AI 산업에선 어떻게 움직이고 있을까?

• 많은 대기업은 점점 Closed 전략으로 움직이고 있다. Open-source는 향후 BM이 불명확하며, SOTA 수준을 위해선 막대한 비용을 투자해야 하고, 매 분기 월가의 분석을 받고 있어 중단기적 실적이 중요한 대기업들은 monetize가 가능한 closed로 움직일 것으로 보인다.

• General-purpose foundational model 쪽에서 (버티컬 use-case가 아닌 이상) 스타트업이 대기업과 싸워볼 만한 영역은 open-source이다. Open-source는 장기적으로 closed를 이길 수 있을까?

• 모델의 아웃풋 퀄리티는 크게 2가지로 결정된다: 1) 파라미터(Parameter) 수, 2) 데이터. 파라미터 개체 수는 Compute Cost와 연동되어 있다. 즉, 파라미터를 늘리는 방식은 적어도 당분간은 대기업의 영역이다.

• 데이터는 어떨까?
• 데이터는 크게 4가지로 나뉠 수 있다. 1) publicly available data, 2) proprietary data, 3) synthetic data, 4) user feedback data
• 1번의 경우, open-source나 closed 모두가 사용 가능한 commoditized 데이터이다. 하지만, 2~4의 경우, 대기업이 우위에 있을 수 밖에 없다. 대기업은 2) proprietary data를 독점적으로 구매할 수 있는 자본력이 있고, 3) synthetic data를 연구하고 최적의 방법으로 반영할 수 있는 capability가 있고, 4) user feedback data를 효율적으로 대량 취합할 수 있는 Distribution/플랫폼(e.g. ChatGPT, Bard 등)이 있다. 이 중 4) user feedback data가 단기적으론 가장 중요할 것으로 본다.

• 개인적으로 장기적인 관점에선 closed-source model이 압승할 것으로 생각한다. Open-source 모델들은 사용자에게 유연성을 제공하지만 1) 기술적 격차가 시간이 갈 수록 매우 클 것이고, 2) closed가 제공하는 수준의 Dev Tools/UI 없이 구축하고 관리하기 매우 어려울 것이며, 3) 안정적인 서비스 운영에 리스크가 존재하기 때문이다.

• 만약에 미래에 트랜스포머와 같은 AI breakthrough가 있을 경우, 이미 구축한 open-source 기반 모델을 버리고 또 새로 시작해야 하는가? 기업 운영자 입장에선 아무리 비싸다 한들 모델과 Back-end 서포트를 모두 SOTA 수준으로 제공해주는 closed가 확실히 매력 있어 보인다.

• 분명히 cloud-native closed source가 캡쳐하지 못하는 시장(on-prem, edge, 정보 보안 등 매우 버티컬 use case)이 있겠으나 TAM이 한참 작을 것으로 예상된다.

• 모델 평가, 엣지 AI, 멀티 모달, 신규 아키텍처 등 다양한 방법으로 모델의 성능/기능을 개선할 방법이 있지만… 이 또한 대기업 영역이 아닐까 싶다.

• 오픈소스가 경쟁력이 있을 수 있는 경우는 향후 AI 성능 고도화에 천장이 존재할 경우(예. 8B 파라미터 모델이 최신 SOTA 모델들과 Value Proposition이 유사한 수준일 경우)이다.

• 이에 따라 적어도 얼리 스테이지 벤처투자 관점에선 Foundation Model Layer에서 기회는 끝났다고 본다.

AI Dev Tools

• 보기만 해도 골 아프다. AI Ops 레이어는 Data Labeling부터 Hub, Training, Inference, Monitoring, Embedding 등등으로 매우 파편화 되어 있다. 이렇게나 파편화 되어 있다면 TAM이 낮고 높은 밸류를 인정 받을 수 없다.

• 여기서 궁금한 점은 아래와 같다:
• 왜 end-to-end 솔루션이 없을까? 아니면 end-to-end 솔루션이 있지만, 매우 버티컬 use-case에 대한 솔루션까지 커버할 수 없어 이렇게 서비스가 많은 것일까?
• M&A나 자체 개발로 End-to-end 서비스 확장이 가능하다면 누가 가장 가능성이 높은가? 왜?
• 각 세부 밸류체인 내 어플리케이션 사이 차이점은 무엇일까? (가격? 속도? UI? Integration?) 개발자들이 한 플랫폼을 사용하고 다른 플랫폼은 사용하지 않는 이유는 무엇인가?
• (우리가 노션, 슬랙을 계속 사용하는 것처럼) 락인 효과가 있는가? Switching cost는 뭐가 있을까?

• 확실한 것은 AI Dev Ops 레이어가 고도화될 수록 AI 어플리케이션에 대한 개발환경이 민주화되고 더 많은 시장참여자들이 AI 어플을 만들어나갈 것이다.

인퍼런스 서빙

• 개인적으로 AI Ops 중 관심 있게 보는 분야는 AI Inference Serving이다. 향후 AI가 본격적으로 상용화 될 경우, 인퍼런스 서빙 비용은 기하급수적으로 늘어날 것이다. 이대로 간다면 이 구조는 지속가능 하지 않다.

• 사용자가 많아질 경우, 회사는 AI 모델에 대한 비용 효율화, 안정적인 모델 인스턴스 scale-up, 성능 문제(latency issue) 등을 해결해줄 수 있는 인퍼런스 서빙 서비스가 필요할 것 같다.

• 현재는 이 GPU 효율/비용 문제를 해결하기 위해 많은 자본이 하드웨어 쪽으로 향하고 있다. 물론 가장 직관적이고 효과적인 솔루션이다. 하지만, GPU shortage는 단기적으로 해소될 문제가 아니지만 소프트웨어 솔루션은 Foundry 스케줄과 별도로 바로 투입 가능한 솔루션이다.

• AI 모델의 워크로드를 적합하게 분산하여 GPU 자원을 더 효율적으로 사용하게 해주는 소프트웨어 쪽으로도 기회가 있지 않을까?

• 배터리 가격이 내려와 전기차를 현실화 하고 DNA sequencing 비용이 내려와 헬스케어를 혁신한 것처럼 트레이닝/인퍼런스 비용은 혁신을 통해 계속 내려올 것으로 본다. AI compute cost가 내려오면 기술 상용화를 가능케 하고 사용량은 배로 증가할 것이다. Compute를 쥐어 짜내야 하는 상황에서 해답은 하드웨어(speed, throughput, energy efficiency) 뿐만 아니라 소프트웨어(workload distribution) 혁신도 있지 않을까 싶다.

• 이 문제에 대한 솔루션은 현재 미국 NVIDIA의 오픈소스 Framework인 NVIDIA의 Triton Inference Server, Databricks에서 $1.3B으로 인수한 MosaicML이 있다. 국내에선 AMD에서 투자 유치한 모레, 서울대 전병곤 교수가 이끌고 있는 FriendliAI가 있다. 이 회사들이 AI 생태계 내에서 어떤 역할을 할지 기대된다.

AI 어플리케이션

• 마지막으로 AI 어플리케이션이다. 지금까지 대부분의 펀딩은 AI 모델 쪽으로 향하고 고작 17%만 AI 어플리케이션으로 향했다. 이는 클라우드 스택 전체 TAM의 40%가 어플리케이션에 집중된 것과 상반된다.

• 향후 인프라 레이어가 안정화 될 경우, 더 많은 투자금이 AI 어플리케이션으로 향할 것으로 본다. AI 모델 레이어의 승자는 Apple의 앱 스토어, 구글 플레이 스토어, 마이크로소프트 OS 등과 같은 개발 플랫폼을 제공하고 AI 어플리케이션들은 이 플랫폼 위 생태계(e.g. Facebook, Tik Tok, Uber 등)를 꾸릴 것이다.

• 스마트폰 혁명 때 대부분의 “value”는 incumbent(대기업) 측으로 축적되었다. AI는 어떨까? 아직까진 AI 혁명에 빠르게 움직인 대기업들이 혜택을 누리고 있다.

• 미래의 가장 성공적인 AI 어플리케이션은 Uber와 Airbnb가 그랬듯이 우리가 상상하지 못하는 “behavioral shift”을 발생시키는 서비스에서 올 것이다. 혁신적인 AI 테크 위에서 어떤 서비스들이 나올까? 매우 기대된다.

엣지 어플리케이션

• 개인적으로 어플리케이션 내 관심 있게 보는 분야는 “엣지 어플리케이션”이다. 사용자의 자체 하드웨어(아이폰, 노트북 GPU 등)를 사용하여 클라우드가 아닌 엣지에서 모델을 돌리는 것을 말한다.

• 이론적으론 엣지 모델은 성능/속도(latency) 문제, 클라우드 비용/의존도 문제, 개인정보보호(data privacy) 문제를 잡을 수 있다. 다만, 모델 사이즈의 한계가 있으며 하드웨어 과부화 방지를 위해 minimal한 AI(8 billion- 파라미터)가 탑재될 것으로 생각한다.

• 특히, 애플 실리콘 위 Siri, Shortcuts 기능을 활용하여 어떤 AI 어플리케이션이 탄생할 지 기대된다. 이 문제는 AI 리서치보다 Engineering 팀의 영역이 될 것으로 풀이된다.

Conclusion

• Coatue의 블로그를 발췌하여 AI 산업 밸류체인과 투자기회에 대해 지극히 개인적인 의견을 반영하여 블로그를 작성해봤습니다.

• 어떤 부분들은 공감하실 수도 있고, 많은 부분들은 미친 소리라고 생각하실 수도 있습니다🤪. 의견, 질문, 피드백이 있으시면 편하게 메일이나 아래 LinkedIn으로 연락 부탁 드립니다 (커피챗도 좋습니다!☕)

• 또한, 이제 곧 인블로그 팀이 Subscribe 해주신 분들께 메일에서 확인하실 수 있도록 Newsletter 기능을 추가할 예정입니다. 관심 있으신 분들은 구독 부탁 드리며 인블로그 팀의 여정도 응원 부탁 드립니다!