2023년 11월 7일 진행한 OpenAI DevDay에서 엿볼 수 있는 큰 장기적 테마:
1) 새로운 인터페이스: 여전히 우리는 1970년대 PC 인터페이스(2D 디스플레이에 클릭&포인트와 QWERTY 키보드)에 머물러 있음. AI가 음성, 비전 등 멀티 모달리티(multi-modality) 기능을 고도화하면서 자연어 기반의 새로운 인터페이스가 탄생할 것. 이는 결국 기존의 어플리케이션들은 새로운 시장니즈를 반영하기 위해 Tech Stack을 크게 변형할 것이며 신규 AI-native 어플이 탄생할 것을 의미.
2) AI의 수행능력: AI의 잠재력에 비해 현재 수준은 "귀여운" 정도. AI가 실제로 작업 수행(task execution)까지 우리 워크플로우(workflow)에 진입하여 생산력을 10x했을 때, AI의 진정한 가치를 끌어낼 수 있음 (예. GitHub CoPilot).
현재까지 OpenAI 성과:
OpenAI API 위에 약 2백만 개발자 작업 중
Fortune500 기업 중 92%가 OpenAI 제품을 사용/개발 중
WoM 마케팅으로만 100M WAU
(기사에 따르면) 약 $1B ARR; 현재 임직원 세컨더리 주식 판매(Tender Offer) 밸류 $86B 가정 시, 약 86x ARR 멀티플
개요:
더 강력하고 저렴한 128K Context Window를 지원하는 GPT-4 Turbo 모델
개발자들이 자체 어플 내에서 AI 어시스턴트를 더 쉽게 만들 수 있게 돕는 새로운 Assistant API
비전, 이미지 생성 및 TTS를 플랫폼의 새로운 멀티모달 기능
Key Developments (GPT-4 Turbo, ChatGPT, GPTs and more!):
Context Length
현재 GPT-4는 8K, 최대 32K 토큰까지
이번에 출시한 Turbo는 128K 토큰까지(!); 300페이지 책 분량
가격
평균적으로 GPT-4 대비 GPT-4 Turbo가 약 2.75x 저렴한 수준
Better World Knowledge
현재까지 ChatGPT의 knowledge cutoff는 2021년 9월
GPT-4 Turbo은 이제 2023년 4월까지의 정보 취득
JSON Mode
개발자는 모델의 Output에 대해 더 많은 제어방법을 원함
JSON Mode는 모델이 유효한 JSON 포맷으로 응답하길 보장 --> API 호출 작업 간단화
Function Calling
자체 앱 또는 외부 API 기능을 모델에게 설명하고, 모델이 정확한 Function을 콜 할 수 있도록 JSON 출력
사용자는 하나의 메시지를 통해 여러 작업을 요청할 수 있음
Reproducible Outputs with the Seed Parameter (beta)
기능을 사용할 경우, 모델로부터 일관되고 예측 가능한 Response를 받을 수 있음 --> 모델 내 문제 해결, 모델 작동방식 제어 등에 유용함
Returning Log Probabilities for Output Tokens
가능성이 높은 Output 토큰에 대한 로그 확률 제공 기능
검색환경 내 자동완성 기능과 같은 Feature를 구축하는데 용이
New Modalities in API
DALL-E 3, GPT-4 Turbo with Vision, 신규 TTS 모델은 오늘부터 API에 포함
예를 들어, 오늘 코카콜라는 DALL-E 3 API를 사용하여 고객들이 Diwali (인도 가장 큰 축제) 카드를 만들 수 있는 이벤트 시작
또한, BeMyEyes라는 스타트업의 경우, 시각장애인이 눈앞에 있는 물건을 식별하기 위한 도구 개발
신규 TTS 모델은 6개의 음성보이스 설정으로 놀랍도록 자연스로운 음성 생성
Language learning, 음성 어시스턴트 등 다양한 기회 기대됨
Fine-Tuning
현재까진 GPT-3.5 까지 지원하며 오늘부턴 GPT-3.5 16K 버전까지 확대
뿐만 아니라 GPT-4 Fine-Tuning Experimental Access Program 시행
Custom-Models
Fine-Tuning은 소량의 데이터로 모델을 미세 조정하는 것에 유용하지만 모델이 아예 새로운 지식 영역을 학습하거나, 많은 독점 데이터를 사용하고 싶을 경우는 부적합
OpenAI의 리서처들이 B2B 고객과 긴밀히 협업해 Custom Model 개발을 진행할 것
모든 모델 학습 프로세스에 깊게 관여 (도메인별 사전 학습, 사후 학습 등)
초기엔 일부 고객에 한정할 것이며 매우 비쌀 것
Token Rate Limit
Token Rate Limit을 2배로 올려주고 추가 Rate Limit 상향 요청 기능 추가
Copyright Shield
최근 AI Regulation과 Copyright Infringement이 뜨거운 감자
ChatGPT 엔터프라이즈 및 개발자 플랫폼 사용자들이 저작권 침해와 관련한 법적 Liability를 대신 책임줘주는 프로그램
선제적으로 OpenAI가 나서서 B2B 고객들에게 1) regulatory/legal liablity risk를 해소해주면서 동시에 2) 자체 모델이 트레이닝 된 데이터에 대한 자신감을 표현
Sam Altman "We do not train on your data from the API, or ChatGPT Enterprise, ever"
ChatGPT
Knowledge cutoff 개선, 모델 선택기 없음 등 위 feature들 대부분 ChatGPT에 반영
Before
After
GPTs
특정 목적/인격/지식을 반영한 ChatGPT의 맞춤형 버전(Character.AI와 유사)
누구나 만들어서 공유할 수 있고 이용도에 따라 Revenue Share도 있음
ChatGPT 사용자는 더이상 Prompt Engineering ("explain to me as if I were a child" 등) 없이 손쉽게 목적에 맞게 지식/기능이 고도화된 봇과 대화 가능
ChatGPT 내 어플리케이션 API
Canva
Workflow의 시작점을 Canva가 아니라 ChatGPT에서 자연어로 시작하고 Brainstorming한 후, 세심한 수정이 필요할 때 Canva로 넘어감
Zapier (Workflow Automation Tool)
GPT는 사용자의 지시를 받아 실행(execution)까지 이어가기 위해 어떤 기능/모델을 호출할지 결정하고 실행하도록 설계됨
Zapier는 약 6,000개의 어플리케이션과 연동되어 있음
1) 구글캘린더와 ChatGPT 연동 --> 내 캘린더에 더블부킹이 있는지 확인해줘
2) 메시지와 연동 --> 더블부킹 확인 후, Sam한테 일찍 나가봐야 한다고 말해줘
Assistant API
많은 기업들은 자체 Product 안에 API를 사용하여 에이전트를 구축해왔음
예) Shopify의 Sidekick, Discord의 Clyde, Snapchat의 My AI
하지만 이 구축이 매우 어렵고, 수십 명의 엔지니어로 구성된 팀이 수개월이 걸림 (state management, prompt & context management, extend capabilities, retrieval 등등)
또한, API를 호출할 때마다 일반적으로 전체 대화 기록을 모두 모델에 전송해야 함으로 key value store, context window 조정, message serializing 등 작업이 추가 필요
위 작업을 훨씬 간단화하기 위해 OpenAI는 Assistant API를 출시
Threading, Retrieval, Code Interpreter, Function Calling 기능이 API에 built-in 되어 있음
위와 같이 훨씬 쉽게 multi-modality 기능이 탑재된 Agent를 자체 프로덕트 내에 내재화할 수 있음
Conclusion:
OpenAI의 속도와 혁신성은 매우 놀랍다. OpenAI가 구축한 ecosystem 위에서 다양한 스타트업이 탄생할 것.
문제는 OpenAI의 API는 누구나 사용할 수 있다보니 기술적 Moat가 없다는 것; Tech stack을 조정해서 비싼 OpenAI의 API 의존도를 낮춰 비용 효율성을 가져가든, 훌륭한 UI/UX이던, 네트워크 효과이던 간에 다양한 방법으로 Moat를 구축해나가야할 것.
AI-native 어플이 탄생하면서 새로운 인터페이스의 패러다임 변화가 있을 것.
Execution까지 잘하는 AI의 지불용의는 무제한일 것; ChatGPT가 Zapier 등 다양한 어플과 기능까지 연동하겠지만 그럼에도 버티컬 문제영역에서 스타트업은 싸워볼 수 있다고 보임 (예. PhotoRoom?)
Infrastructure Layer까지의 변화; DevDay에 참석한 Satya Nadella는 AI와 인프라에 대해 이렇게 말했음: "First thing we have been doing has been changing all the way from the power to the DC to the rack to the accelerator to the network. Shape of Azure has drastically changed in support of these models you have been building." 보이지 않는 현재 Infrastructure stack에서 투자자들이 놓치고 있는 기회와 시장에 필요한 혁신은 무엇일까?
관련해서 테크든 기업분석에 대한 질문, 조언, 피드백이 있으신 분들은 아래 LinkedIn을 통해 연락 주시면 감사하겠습니다.