Contents
The Intelligence Age오픈AI 보이스 모드 드디어 출시워렌 버핏의 주식투자 철학에듀테크 사업이 어려운 이유Collison InstallationLLM 벤치마크 테스트를 cheating하는 방법1 Billion MAU 컨슈머 어플은 끝났다; 버티컬 어플 전성시대Founder Mode (feat. Paul Graham)GPT-3 —> GPT-4 급 퀀텀점프가 온다. 오픈AI 일본 대표의 예견고수의 생각법 (feat. g.nyuk)Just do itHype cycle을 따라가지 말고 주도하라 디퓨전 모델이 게임엔진을 대체한다?AI 여자친구보다 AI 남자친구가 시장기회가 더 크다도메인 경험/지식: 스타트업에게 필수적인가?Keith Rabois가 창업자에게: 런웨이 말고 “lift”에 신경써라우버가 콜드 스타트 문제(cold start problem)을 해결한 방법2024년 1분기 벤처투자 펀드 실적 현황은?엔화 캐리 트레이드: 주식시장 폭락 이유 이해Rabbit, Humane 폭파 이후 새로 나온 AI Pin 회사: FriendScrew WFH - 사무실 근처로 이사를 독려해라 (Peter Thiel)주식의 본질: Food for Thought from Stan Druckenmiller😡개빡침주의: 두산로보틱스 x 두산합병 - 슈카형이 얘기하는 국내 자본시장의 문제$6B 투자받은 일론 머스크의 xAI; 테슬라가 추가 $5B 투입 암시?Llama-3.1 405B 모델 공개!왜 Meta는 자기 모델을 오픈소스할까?실리콘밸리 “슈퍼 베이비”의 시작 - 출산테크(Fertility Tech)의 약진AI의 붉은 여왕 가설 - Red Queen Effect (2024-07-16) 돈나무 언니의 AI 친구 리포트 (2024-07-12)트렌드라인을 믿어라 - 2027년 AGI는 온다: 소베린 AI를 고민할 시기 (2024-07-11)AI 쇼핑 에이전트 프로덕트! (2024-07-09)오픈소스 리더보드 업스테이지 퍼포먼스 논의 (2024-07-08)💡 Inspiration of the Day: 🤯 Absolutely Bonkers AI Avatar Product for Creators! 🎨🚀 (2024-07-04)Meta’s New Text-to-3D Generator Creates 3D Models in Under a Minute (2024-07-03)My Views on Generative AI Landscape (2024-07-02)1. Where will the opportunities arise in Gen AI?2. Is AI a hype?3. Where should we invest?Hugging Face releases harder, faster, stronger open-source leaderboard (2024-07-01)Why Leaderboards are ImportantProblem with Leaderboard v1Leaderboard v2Exponential rise of training costs for LLMs. Is it sustainable? (2024-06-28)Rippling Memo 2019 (2024-06-26)Problem Statement: Company Strategy:ProductWhat it takes to be valued at >10x Rev (2024-06-25)OpenAI acquires Rockset (2024-06-24)End of Software (2024-06-23)Forget about LTV/CAC; IRR on CAC is all you need (2024-06-22)스타트업 종사자 및 벤처투자자들을 위해 작은 오픈채팅방(<200)을 개설했습니다. 단순 뉴스클립이 아니라 깊은 공부와 고민이 필요한 주제에 대해 다뤄볼 예정입니다.
*익명 참여 가능, 광고 X, 스팸 X
카톡방 링크: jasonlee snippets 오픈채팅방
PW: 0852
내용 예시: Archive 링크
The Intelligence Age
- 최근 OpenAI 내 주요 인력들 이탈에 대한 얘기가 많음. 네티즌들은 이 상황에 대해 갑론을박을 펼치고 있다: OpenAI는 망했다! 아니다! AGI를 달성한 것이다! 등등..
- 재밌는 gossip 이긴 하지만 gossip은 gossip 일 뿐.. 그냥 노이즈라고 생각한다. 더 주목해야 할 것은 오픈AI가 올해 출시 예정인 next gen 모델, 5gw 데이터센터(들!) 등 이런 뉴스들. 오픈AI는 확실히 스케일링에 대한 conviction이 강한 것 같다
- 앞서 블로그에서도 다뤘던 Scaling Law, Leopold Aschenbrenner의 2027년 AGI 예측, 또 최근엔 Strawberry 까지.. 모두 이대로 가고 있고 Scaling은 전혀 멈출 생각이 없다. 그리고 이 스케일링 싸움은 쿠팡이 물류창고 네트워크를 구축하는 것과 같이 비슷한 인프라 투자가 필요한데 OpenAI가 선두주자로 있는 것은 맞다.
- 최근 Sam Altman이 “The Intelligence Age”라는 블로그를 썼는데 몇 가지 힌트들을 뿌려놨다.
- Scaling에 대한 확신이 매우 강하다 - “deep learning worked, got predictably better with scale, and we dedicated increasing resources to it”
- 이젠 더 이상 목표를 AGI (Artificial General Intelligence)가 아니라 ASI (Artificial Super Intelligence)로 얘기한다. AGI는 내부적으로 이미 도달했거나, 이제는 너무 쉬운 목표인 것이 된 게 아닌가?
- ASI는 몇 천일 내로 달성 가능할 것으로 보인다. ASI를 도달하기엔 적어도 6년이 걸릴 것으로 예측하는데 앞서 말한 것과 같이 AGI는 훨씬 일찍 된다는 소리 - “It is possible that we will have superintelligence in a few thousand days”
- 이 외 Sam Altman이 세상을 보는 시각, 철학 등을 바라볼 수 있다. 본문 읽어 보시는 것을 추천!
오픈AI 보이스 모드 드디어 출시
- ChatGPT는 드디어 자연스러운 대화 (voice-to-voice)를 지원하는 고급 음성 모드를 제공. 전문 성우가 제작한 다섯 가지 새로운 목소리로 구동 bye Sky! :(
- Custom instruction feature와 메모리 기능을 통해 경험을 개인화할 수 있음
- 새로운 기능은 Plus 사용자(월 $20)와 Team 사용자(월 $30)에게 제공됨; Enterprise 및 Edu 계층으로 접근성을 확대할 계획. 퍼플렉시티 말고 ChatGPT로 갈아타야하나..
- 아직 모든 사람들이 사용 가능한 게 아니고 금주 내로 차차 롤아웃 예정. 사용 가능하면 알림을 준다고 함 (어쩌면 9~11월까지도 기다려야 할 수도?)
- X에 나온 것만 해도 꽤 다양한 어플리케이션으로 사람들은 사용하고 있음 - 피트니스 코칭, 기타 튜닝, 언어 학습 등등
워렌 버핏의 주식투자 철학
- 아래는 워렌 버핏의 주식투자 철학; 사실 주식이 아니라 어떤 투자 (부동산, 벤처 등)라도 이렇게 투자해야 단발성이 아니라 지속가능한 투자가 가능하다고 생각
- 우리는 4개 criteria로 주식을 평가한다
- 내가 이해하는 사업인가?
- 단기X; 장기적으로 좋게 보는 사업인가?
- 정직하고 능력 있는 사람들이 회사를 운영하는가?
- 매력적인 밸류인가?
- 워렌 버핏은 절대로 단기적인 요소를 보고 투자하지 않는다. (e.g. 단기적으로 이 회사에 이런 호재가 있대!!) 단기적으로 주식이 떨어져도 전혀 개의치 않는다. 오히려 buying opportunity로 본다.
- 워렌 버핏 경험 상 이 회사가 인수 된다면 팔릴 가격(acquisition price)과 시장에서 거래되고 있는 가격 간 차이가 큰 경우들이 있다. 이는 회사가 저평가 되었다는 뜻이고 buy signal이다.
- 이러한 경우엔 우리가 인수하는 목적이 아니다 하더라도 큰 금액을 매수한다. 왜냐하면 직접 회사를 통째로 사지 않다 하더라도 훌륭하게 운영된 회사들은 장기적으로 majority shareholder던 minority shareholder던 간에 alpha (주가 상승 + 배당금)가 똑같이 배분되기 때문이다.
- 개인적인 생각: 1) 안타까운 것은 우리 나라 자본시장에선 misaligned incentive 덕분에 오너들(majority shareholder)이 매우 이득을 보고, 소액주주들은 피해 입는 구조… 2) 언뜻보면 위 내용이 VC 투자에 대한 것이라고 해도 이질감이 없음. VC는 강제로(?) 장기적으로 봐야하지만 주식도 똑같이 1) 장기적으로 2) 내가 이해하는 회사에 3) 믿을만한 창업가/운영자들에게 4) 좋은 밸류로 투자하자!
에듀테크 사업이 어려운 이유
- 에듀테크 기업들의 성공 스토리를 찾아보기 힘듦. 산업이 본질적으로 뚫기 매우매우 어렵기 때문.
- 한국에서 edu-tech 스타트업들이 성공하기에 왜 어려울까? 본질적으로 meritocracy를 기반한 국내 문화와 매우 entrenched 되어 있는 incumbent 및 시스템, 사회적 인식 때문이라고 생각.
- 기존 incumbent를 뚫기 위해선 압도적인 가치를 제공하는 기업이어야 함. Education에서 남들과 차별화 된 가치를 줄 수 있는 방법이 뭐가 있을까?
- 예를 들어 미적분을 10x better 한 방법으로 가르칠 방법은 없다. 미적분은 미적분이다. 하지만, "시험을 잘 보는 방법"은 다르다. 90점 받던 친구가 95점을 받는다면 사람들은 돈 10배~100배를 줄 수 있을 것이라고 생각한다. 시험 결과가 10배 나아지지 않았지만, 5점 올린 친구 입장에선 올린 5점이 자기 인생을 10배 바꿀 수 있을 것이라고 생각하기 때문.
- 이렇기 때문에 한국에서 제일 잘 나가는 곳이 기술과 education을 융합한 edu-tech 회사들이 아니라 사교육 시장. 사람들은 "배우는 것"에 돈을 지불하지 않음. 시험 성적을 올리기 위해 돈을 씀. 특히, 우리 나라와 같이 social mobility와 시험 성적이 100% correlated 되어 있다면..
- 아래는 Gian Segato (Uniwhere라는 에듀테크 회사 창업자 및 현재 Replit 개발자)의 글
- 에듀테크 기업들이 글로벌 "generational company"가 안 돼는 이유:
- 1) 글로벌 확장이 어려움: 에드테크 제품은 교육 시장이 지역적으로 silo (문화, 체계 등)되어 있어 같은 GTM playbook, 같은 제품으로 다른 나라에서 성공 하는데 어려움. 한 지역에서 성공을 거둔 프로덕트가 지역을 넘어 확장하려면 PMF가 희석되어 사용자 이탈이 높아지거나 성장력이 제한됨.
- 2) 기존 강력한 incumbent과의 경쟁: 에드테크 스타트업은 변화에 저항하는 기존의 incumbent 교육 시스템 (수능, 자격증, 학교, 교육 대기업 등) 및 문화적 기대(학부모, 학생 등 entrenched 된 생각과 기대)와 경쟁.
- 3) 수익화 문제: 에드테크 제품의 수익화는 이해관계자 간의 재정적 인센티브가 맞지 않음 (예: 부모가 비용을 지불하고 학생이 소비). 특히 K-12 제품에서 도드라짐.
- 4) 현재 모델의 한계: 코호트 기반 과정 (e.g. Udemy) 및 게이미피케이션 (e.g. Duolingo)과 같은 다양한 접근 방식이 시도되었지만 각각 상당한 단점이 있습니다. 코호트 기반 과정은 scale-up 때 품질을 유지하는 데 어려움을 겪고, 게이미피케이션 학습은 실질적인 교육 성과를 제공하는데 한계가 있음.
- 5) B2B 사업: 프로페셔널들을 위한 사내 교육 프로그램, 평생 교육 프로그램 등을 위한 예산을 갖고 있는 기업들의 수는 매우 제한적임. 그리고, 대체적으로 나중엔 이러한 대기업들이 자체적으로 컨텐츠를 생산하려고 함.
- 6) 에듀테인먼트: 순수한 교육 콘텐츠보다는 엔터테인먼트를 판매하는 것(e.g. MasterClass)이 돈이 벌린다는 것은 입증하였지만 실질적인 교육 성과를 내는데 역부족임.
- 결론: Udemy, Coursera, Duolingo와 같은 에듀테크 회사들은 어느 정도 성공을 거두었지만 앞서 말한 모델의 제한된 확장성 때문에 generational company로 성장하지 못함. 가장 edutech에서 잘 나간다는 Coursera, Duolingo도 시총 $2 billion 수준
Collison Installation
- 세계에서 가장 valuable 한 스타트업 중 하나인 Stripe (현재 $70B 밸류)의 초기 이야기
- 엔터프라이즈 세일즈는 어렵다. 세일즈 하나하나도 매우 어렵고, 사용자 피드백 받기도 어렵다. 사용자들은 괜히 귀찮게 시간 쓰고 마음 상하는 얘기 하느니 피드백 안하고 만다.
- 근데 엔터프라이즈 SaaS 파는 스타트업에게 더욱 마음 상하는 일은 잠재 고객이 사용한다고 해놓고 프로덕트를 사용(implementation)하지 않는다는 것.
- 이러한 상황이라면 스타트업은 프로덕트를 팔긴 팔았지만 첫 단추부터 실패했다. 결국 잠재고객이 implement하지 않으면 아무리 결재를 했다하더라도 곧 churn할 것이기 때문.
- Stripe의 창업자 Collison 형제들은 아예 고객사까지 가서 설치와 implementation까지 직접 해줬다고.. 이제 스타트업 커뮤니티에선 이러한 행동을 Collison Installation이라고 한다
- 고객한테서 “Yes”를 받아낸다고 해서 세일즈가 끝난 것이 아니다. 유통에서도 그러듯이 라스트 마일이 가장 중요하고 가장 어렵다. Collison 형제들은 이렇게 고객들과 직접 스킨십을 가져가며 피드백을 받고 세일즈의 last mile을 잡았다.
- “Do things that don’t scale”
LLM 벤치마크 테스트를 cheating하는 방법
- 아래는 Nvidia의 Research Scientist, Jim Fan의 트윗
- LLM 벤치마크 테스트(MMLU, GSK-8k, HumanEval)의 점수를 높게 받기 위해 cheating하는 것은 매우 쉬움
- 아예 test set을 사용해서 학습하는 것은 루키짓; 다른 방법들도 많다
- Paraphrase (워딩을 조금 바꿔서) 된 테스트셋을 사용해 학습; “LLM-Decontaminator” 페이퍼에서 MMLU, GSK-8K, HumanEval의 테스트셋을 조금만 다른 용어/포맷/언어로 바꿔 학습했더니 13B 사이즈 모델이 GPT-4를 이길 수 있었다
- 이러한 행위를 방지하기 위한 LLM-decontaminator도 역부족이다. LLM-decontaminator는 위와 같이 단순 paraphrase하는 데이터셋을 잡기 위해 만들어짐. 이 것을 우회하기 위해 테스트셋을 풀기 위한 로직은 같지만 새로운 질문/답변을 생성해서 학습하면 쉽게 우회할 수 있다.
- 또한, 프롬프트 엔지니어링을 통해 LLM-decontaminator를 쉽게 속일 수 있다. 디텍터는 퍼블릭이지만 prompt는 나만 알고 있기에 가능하다.
- Test-time compute을 늘려서 모델이 CoT, reflection 등을 사용하면 점수를 더 높일 수 있다.
- 요즘 새로운 스타트업들이나 리서쳐들이 여전히 MMLU 스코어를 내세우고 사람들이 놀라는데 이는 전혀 신뢰도가 있는 방법이 아니다.
- 유일하게 모델 성능을 믿을 수 있는 방법은 1) Lmsys chatbot arena, 2) 아님 Scale AI, Artificial Analysis와 같이 신뢰도 높은 제3자 평가기관이 공개되지 않은 테스트로 시험하는 것 밖에 없다.
1 Billion MAU 컨슈머 어플은 끝났다; 버티컬 어플 전성시대
- a16z 파트너 Andrew Chen의 글
- 1 billion MAU의 새로운 horizontal (수평적) 어플은 이제 나오기 힘들 것이다 (Youtube, TikTok, Linkedin, Snapchat 등)
- 마지막으로 탄생한 것이 틱톡이고 이마저 8년 전이다
- 아이폰이 나온지 15년+가 되었고, 모바일 S-커브의 막바지 시기이다
이젠 Horizontal App이 왜 어려운가?
- Novelty effect (새로운 것)가 사라졌다. 소비자들은 거의 모든 아이디어에 대해서 다 들어봤고 Founder들이 모두다 시도해봤고 1 billion까지 스케일하지 않았다.
- 리텐션이 어렵다. 모바일 시대 초기엔 아무거나 만들어도 줄에서 기다리는 것이나 용변을 보면서 가만히 앉아있는 것보다 더 재밌으면 사람들이 다운받았다 (e.g. fart app). 하지만, 지금 시대에 새로운 어플은 이 시대 가장 중독성이 높은 어플(인스타, X, 유튜브)들과 경쟁을 한다.
- 이러한 수평적 어플들의 주요 비즈니스 모델은 광고이다. 광고를 안착시키는 것은 “two miracle” 문제이다. 두 번의 “기적”이 필요한다는 뜻으로 그만큼 어렵다.
- 일단 첫번째 기적은 천만 단위 유저들까지 스케일하는 것이다. 이 정도는 되야 광고모델로 돈을 벌 수 있는 수준이 된다.
- 두번째는 광고 마켓플레이스, 타게팅 시스템, 비딩 시스템 등 광고주들을 모집할 수 있는 인프라를 구축하는 것이다. 이러한 시스템 구축도 2번째 네트워크 이펙드로 작동하긴 하는데 시간도 오래 걸리고 말도 안되게 어렵다.
- 예전에 비교적(?) 쉽게 되었던 growth hacking 전략 (인플루언서, 퍼포먼스 마케팅 등)도 예전만큼 잘 먹히지 않음 (너무 비싸서 ROI가 나오지 않거나 리텐션이 안나옴)
미래엔 유저수는 적지만 버티컬 니즈를 잘 파고들어 더욱 높게 인당 과금(ARPPU)을 할 수 있는 버티컬 앱들이 잘 될 것!
- Top 10% 유저들이 매출 견인; e.g. Free-to-Play games, 도박사이트 (draft kings) 등
- 수평적 어플들과 달리 네트워키 이펙트 드라이버는 “내 친구들이 있어서”가 아니라 관심사나 활동으로 이루어질 것; e.g. 친구와 상호작용하는 것이 아닌 데이팅 어플, 발로란트와 같은 게임 등
- 어플들의 gamification이 많아질 것 (e.g. Robinhood, Duolingo 등)
미래의 어플들은 훨씬 버티컬해질 것이다!
Founder Mode (feat. Paul Graham)
- 이번 주 미국 롱 위켄드(labor day weekend) 때 나온 Paul Graham의 블로그: Founder Mode
- Airbnb 창업자 Brian Chesky가 이벤트에서 언급하고 Paul Graham이 내용을 블로그에 정리함; 현재 실리콘밸리 내 가장 핫한 글
TLDR
- 회사는 두 가지 방식으로 운영될 수 있다: 1) founder mode, 2) manager mode
- 매니저 모드는 잘 알려져있다. 경영대학원에서 많이 연구되어 있는 분야다.
- Founder Mode는 잘 알려져 있지 않다. Brian Chesky는 지금까지 Airbnb를 운영할 때 다른 사람들의 조언을 들어 “manager mode”로 운영했다고 한다. 하지만 이러한 경영방식이 틀렸다고 주장하고, 자신이 Founder Mode로 바꾸고 회사의 체질 개선을 할 수 있었다고 주장함.
- 매니저 모드는 무엇이냐?
- “micromanaging”을 하지 않는다. 뽑은 직원에게 룸을 주고 알아서 일을 해나가게끔 도모한다.
- “hire good people and give them room to do their jobs”
- 조직도에 따라 일을 배분하고 direct report와만 얘기한다.
- 하지만 매니저 모드는 “professional fakers”를 유인하고 시스템을 악용하는 사람들이 많아지고 회사를 해친다.
- Founder Mode는 무엇이냐?
- CEO는 direct report와만 대화나누는 것이 아니라 그게 누구든지 DRI와 직접 대화를 나눈다 —> skip level meetings (e.g. Elon Musk?)
- 시키고 믿어주는 것 뿐만 아니라 실무에 더 “direct involvement”를 가진다
- 예를 들어, 스티브 잡스는 매년 회사의 가장 중요한 100명과 company retreat을 진행함. 회사 조직도 내 가장 높은 사람 100명이 아니라 “가장 중요한 사람”을 엄선하여 밑 사람이라 하더라도 참여함
- 매니저 모드는 잘 알려져 있고, 이게 정답이라고 알려져 있다. 하지만 대표의 매니저 모드는 adverse selection 문제가 있다. 결국 승진을 잘하고 임원을 다는 사람들은 doers보다 manager이기 때문에 이 들에게 맡겨진다면 회사들은 builder 문화보다 mba형 사람들로 채워질 마련이다.
- Founder mode에 대해선 잘 알려져 있지 않지만 새로운 트렌드가 될 것이라고 믿는다.
- Jason’s thoughts: 무슨 뜻인진 알겠음. 다만, vague하고 action plan을 얘기해주지 않다보니 정확히 뭘 의미한다는지 모르겠다는 사람들이 많음. But it definitely struck a chord with many ambitious founders!
GPT-3 —> GPT-4 급 퀀텀점프가 온다. 오픈AI 일본 대표의 예견
- 9월 3일 어제 오픈AI 일본 대표 Tadao Nagasaki가 GPT-3 —> GPT-4 급 퀀텀점프 된 모델이 2024년 하반기에 공개될 것이라며 예견함
- Leopold Aschenbrenner가 Situational Awareness에서 언급한 2 OOM 개선된 모델일 것 (해당 블로그에 대한 정보는 jasonlee 블로그 “트렌드라인을 믿어라” 참조)
- OOM은 Orders of Magnitude의 약자로 Effective Compute를 의미함. Effective compute은 단순 컴퓨팅 파워 뿐만 아니라 알고리즘 효율화, unhobbling까지를 의미함
- Nagasaki 대표는 100x 개선에 대해 이렇게 얘기함: “This 100-fold increase probably does not refer to the scaling of computing resources, but rather to the effective computing volume + 2 OOMs, including improvements in architecture and learning efficiency.”
- 차세대 모델은 “GPT-5”가 아닌 “GPT-4 Next”로 불리며 The Information 기사에서 언급한 바와 같이 Strawberry 모델의 합성데이터로 학습됨 (더 자세한 내용은 jasonlee 오픈AI 비장의 무기: Strawberry 블로그 참조)
- “GPT-4 Next… will be trained with a miniature version of Strawberry that has roughly the same computing resources as GPT-4, with an effective computing load 100 times larger”
- GPT-4 Next 이후 내년 출시 예정인 차세대 모델인 프로젝트 오리온은 H100 10,000개로 몇 달간 학습하였으며 GPT-4 Next 대비 10배의 컴퓨팅 자원을 추가하여 3 OOMs+ 개선이 이뤄질 것으로 예상
- Plateau는 개뿔. 이제 시작이다.
고수의 생각법 (feat. g.nyuk)
최근에 책 모임에서 조훈현의 “고수의 생각법”을 읽었는데 멤버인 g.nyuk이 여기서 얻은 통찰을 정리한 내용을 살짝 각색하여 공유합니다!
📕답이 없지만, 답을 찾아야하는 순간. 고독 속에서 강해지는 법
동기: 다니엘 카네만의 생각에 관한 생각 (Thinking Fast and Slow), 앤디 그로브의 편집광 (Only the Paranoid Survive) 책을 읽고, 스스로 질문하고 답하는 사고체계의 중요성을 느낌. 그렇다면 무엇을 신경쓰며 어떤 태도로, 어떻게 생각하는 시스템을 갖춰야할까?
바로 해결될 때까지 붙들고 늘어지는 근성이다.
해결할 수 있다는 긍정성. 반드시 해결하겠다는 의지. 그리고 해결 방법을 모색하는 데에 필요한 모든 지식과 상식, 체계적인 사고, 창의적인 아이디어. 이 모든 것을 포괄하는 개념이 생각이다.
창의력은 특별한 사람만에게 있는 것이 아니다. 창의력의 실체는 창의적인 능력이 아니라 뭐든 의문이 생기면 ‘풀지 않고는 못 배기는 성격’에 있다.
모든 발견은 질문에서 시작한다. ‘왜 이런 거지?’ ‘다른 방법은 없을까?’ ‘이게 정말 최선인가?’ 이런 질문들은 하지 않는다면 생각은 시작되지 않는다.
교훈
- 지금 둘 수 있는 최선의 수를 제외한 다른 감정을 비워야만 묘수가 보인다.
- 반전의 기회는 언제든 온다.
- 실수도 기회도 모두 내가 만든다. 그만큼 승리는 짜릿하고 패배는 아프다. 하지만 그만큼 성장한다.
- 승리에 대한 복기는 이기는 습관을 만들어주고, 패배에 대한 복기는 이길 준비를 돕는다.
- 고독할수록 자유롭고, 고독할수록 강하다.
뜻 밖의 해답
- 경험과 관록을 이기는 것은 젊음의 힘과 패기이다.
- 과정도 중요하지만 결과도 그에 못지않게 중요하다. 이길 수 있다면 이겨야 한다. 그러기 위해선 끝까지 포기하지 않고 반전의 기회를 기다려야 한다.
- 실력보다도 심리가 승부를 좌우한다. 기백. 기운은 스스로 약할수록 약해고, 강할수록 더욱 강해지는 법.
- 이기기 위해서는 먼저 수없이 져야 한다. 따라서 지는 것을 두려워하지 않는 자만이 자신감을 가질 수 있다.
- 지금 있는 자리가 최선의 자리다. 지금 이 순간이 다시없는 소중한 시간이다. 모든 꿈의 출발은 ‘지금, 여기’다.
Just do it
- 한 주와 8월의 마무리를 최근에 크게 감명을 준 글귀로 마무리 하고자 합니다.
- 똑똑한 사람일 수록 risk averse 한 경향이 많습니다. 이런 분들은 아는 것도 많고, 시도하려는 것이 얼마나 어려운 것인지 이해하고 있기 때문에 여러 리스크를 고려하게 되고, 완벽하게 준비되기 전까지 시작하기를 우려하죠.
- 어쩌면 제가 겁 없이 경력도 경험도 지식도 인맥도 알맹이(?)도 부족한 상황에서 블로그를 시작할 수 있었던 것도 제가 무식해서 일지도 모르겠습니다. 그리고 지금 돌이켜보면 무식해서 참 다행이다라고 생각합니다. (이러한 무식한 글 속에서 가치를 느껴주신 모든 분들께 감사드립니다!)
- 저를 비롯하여 많은 분들이 “해볼까?”라고 생각만 하고 아직 시작하지 못하신 것들이 많으실 것이라고 생각합니다. 또, 시작해보고도 흐지부지 해서 끝내지 못한 것들 (shipping, publishing 등)도 있었을 것이라고 생각합니다.
- 그 결과물이 어떻든 일단 시작하는 것이 중요한 것 같습니다. 백날 준비하고 공부해봤자 직접 해보는 것 만큼 더 좋은 learning experience가 없다고 생각합니다.
- 예비창업가라면 사이드 프로젝트로, 다이어트를 시작하고픈 분이라면 조깅부터, 구직자라면 하루 30분만이라도 직무에 대한 공부를 시작하는 것!
- 시도하지 않는 것은 안전하지만 영원히 제자리이고, 시도하는 사람들은 비록 처음엔 쪽팔릴 수 있고 깨질 수 있지만 성장 J-curve에 올라탑니다.
- New week, new month! 모두 건강하고 행복하며 성장하는 9월이 되시기를 바랍니다!
Hype cycle을 따라가지 말고 주도하라
- 초기 Shopify에 투자하지 않은 VC들은 왜 투자하지 않았을까요?
- Shopify 창업자 Tobi Lutke는 회상합니다:
- VC들은 시장 사이즈가 작다고 해서 패스했다. 그 당시 온라인 스토어는 40,000~50,000 수준이었고, Shopify가 50%를 점유한다고 하더라도 벤처 스케일 비즈니스가 아니라고 판단
- 그 당시 시장 사이즈에 대해 VC는 틀리지 않았다. 틀렸던 부분은 온라인 스토어가 그렇게 작은 규모 밖에 되지 않았던 이유는 온라인 스토어를 만드는데 너무 많은 friction이 있었던 것
- Shopify가 이러한 friction (온라인 스토어를 만들고 관리하는데 불편함)을 하나씩 없애고 나니 개인 셀러들의 르네상스
- 오늘 Shopify엔 4~5백만 셀러들 보유
- “What a lot of free-market thinkers don’t understand is that between the demand and eventual supply lies friction. And I actually think that friction is probably the most potent force for shaping the planet that people just generally do not acknowledge.” - Tobi Lutke
- 이와 별도로 Founders Fund의 파트너인 Trae Stephens 글도 재밌음 - VC로써 hype cycle을 단순 따라가는 회사가 아니라 (Shopify와 같이) 주도하는 회사를 어떻게 찾을 수 있을까?
- 자기 비즈니스를 설명할 때 “Uber for X,” “Tinder for y” 이런 용어 안씀. One-of-a-kind 회사는 다른 회사와 빗대여 설명할 수 없음
- 창업자는 해당 영역에 매우 열정적이고 박학다식함. 이 들은 “핫”한 아이디어나 돈 될 아이디어를 쫓는 것과 달리 회사가 어려워지거나 투자자들이 외면해도 마이 웨이 할 수 있는 grit 있음
- Peter Thiel이 얘기하 듯이 창업자는 해당 영역에 대해 자기만 아는 “비밀” (즉, 자기만 아는 유니크 인사이트)가 있어야 함. 이게 있어야만 남들과 다른 방법과 시각으로 문제를 해결할 수 있음
- 워낙 논란적이고 새롭고 revolutionary하니 이러한 창업자들은 모든 VC들을 이해시키지도, 설득하지도 못할 것임. 오히려 모든 투자자들이 투자하려고 하면 그 회사는 새로운 것을 하지 않는, 모든 투자자들이 동의하는 thesis의 회사일 확률이 높음. Don’t be afraid to be contrarian!
- 회사는 독점 지위를 가질 수 있는 확률이 있음. 이러한 회사가 처음 시작할 땐 경쟁사가 없거나 있다 하더라도 빠르게 움직이지 못하는 대기업들 정도일 가능성이 높음.
디퓨전 모델이 게임엔진을 대체한다?
구글이 발표한 "Diffusion Models Are Real-Time Game Engines" 논문 개요:
- GameNGen 개요
- GameNGen은 완전히 뉴럴 모델로 구동되는 최초의 게임 엔진으로, 복잡한 환경에서 실시간 상호작용을 가능하게 함
- 하나의 TPU에서 20프레임 이상으로 클래식 게임 DOOM을 시뮬레이션할 수 있음
- 실제 게임 클립과 GameNGen이 생성한 클립을 구별하기 어려울 정도로 시뮬레이션 퀄리티가 높음
- 아래 비디오는 사람이 게임엔진에서 게임을 하는 것이 아니라 디퓨전 모델 기반의 게임 엔진!!
- 훈련 과정
- 학습은 두 단계로 진행
- RL 에이전트가 DOOM을 플레이하는 방법을 배우고, 모든 훈련 세션이 기록됨
- 과거 프레임들과 에이전트의 행동을 인풋으로 하여 다음 게임 프레임을 예측하는 디퓨전 모델을 학습
- 장기간 안정적인 auto-regressive generation을 위해 학습데이터에 conditioning augmentation
- 게임 개발에 미치는 영향
- 기존 게임엔진은 딱딱한 로직과 하드코딩으로 되었던 것과 달리 GameNGen은 훨씬 더 새롭고 상호작용적인 게임 환경의 생성을 자동화하여 게임 개발에 혁신을 가져올 수 있음
- Asset creation의 필요성을 줄여, 보다 개인화되고 유니크한 게임 경험 선사 가능
- 개발자가 기술적 제약보다 창의성에 더 집중할 수 있도록 하여, 보다 혁신적인 게임 플레이 경험을 이끌어낼 수 있음
- 주요 제약 사항
- 현재 모델은 약 3초의 과거 데이터에만 접근할 수 있어, 장기적인 맥락을 유지하는 데 한계
- 이 제약은 복잡한 내러티브와 지속적인 게임 세계의 생성에 영향을 미치며, 빠르게 진행되는 반응형 게임플레이에 더 적합
- Jason’s thoughts: AI가 기술력이 계속 올라오면서 이제 게임과 접점을 이루는 듯 —> 게임 투자자들, 게이머들, 개발자들 모두 재밌고 기대할 만한 주제인 듯!
AI 여자친구보다 AI 남자친구가 시장기회가 더 크다
- a16z 게임 펀드 파트너인 Andrew Chen 글
- 현재는 “waifu” (wife + 일본 온라인/애니메이션을 합성한 단어 - 디지털 여자친구)가 인기지만 시간이 갈 수록 여성들을 위한 “husbando” (이건 그냥 andrew가 만들어 낸 듯)가 더 많아질 것으로 전망
- 왜냐? 역사적으로 에로티카/로맨스 책에 대한 수요는 남성들보다 여성들이 압도적으로 많기 때문! (차트 참조)
- 그런데 현재는 왜 여성들보다 남자들이 현재 AI companion을 더 많이 쓰냐?
- 개인적인 생각: 예전 블로그에서도 언급한 바 있지만 AI 여자친구 프로덕트들은 현재 LLM 기술 상 상호작용(interaction)에 대한 한계가 명확함 (no long-term memory, context loss 등)
- 시각적인 요소들에 더 쉽게 반응하는 남성들에겐 현재 기술력이 충분 (이미지 생성, 단순 티키타카 채팅 > 상호작용/찐 관계 빌딩 등)
- 관계 형성에 있어 남성들보단 고차원적 니즈가 있는 여성들에겐 현재 기술력 부족함
- 또 어떤 이유들이 있을까요? (남성들이 이러한 프로덕트에 willingness to trial 및 pay가 더 높다던지 등) 과연 로맨스 책 수요 분포와 비슷하게 AI companion 시장에서도 비슷한 양상을 따라갈까요? Why or why not?
도메인 경험/지식: 스타트업에게 필수적인가?
- 개인적으로 도메인 지식은 스타트업에게 매우 중요하다고 생각하는 편
- 물론 Vinod Khosla 및 많은 투자자들은 오히려 스타트업 대표가 해당 도메인에서 몇 년간 일한 경험자보다 경험이 없는 것을 선호한다고 함 —> 왜냐하면 해당 도메인에서 일을 해봤으면 bias가 끼기 마련; 해당 도메인에 경험이 없는 창업자는 새로운 시각으로 문제와 솔루션을 바라봄
- 그렇다고 해서 창업자가 아무런 이해가 없는 도메인에 단지 핫해서, 시장이 커서, 경쟁자가 없어서 등의 이유로 뛰어드는 것은 지양해야 한다고 생각
- 스타트업이 성공하려면 매우 긴밀하게 해당 도메인/워크플로우/이해관계자 등을 이해해야 수많은 서비스 중 차별화를 이뤄낼 수 있음
- Ask yourself: what is something I know to be true that nobody else knows or cares about? —> 지금 산업에서 하는 방식을 10배 더 개선할 수 있는 나만의 유니크한 인사이트가 있나?
- 세일즈, 가격정책, UI/UX, 팀 빌딩 등 기존 방식을 갈아엎을만한 나만의 인사이트
- 이와 관련하여 최근 YC 대표 Gary Tan이 공유한 Hacker News 글: 왜 도메인 지식이 없는 분야에서 스타트업을 하는가?
- 간호사 경력, 또는 적어도 헬스케어 경험이 하나도 없는 너가 왜 간호사 소프트웨어를 만드냐?
- 경력이 없으면 차라리 언더커버로 해당 영역에서 일을 해봐라! 실제로 최근 YC 배치에서 그런 사례들이 있었다고 함
- 경력이 있든 없든, 경험이 있든 없든 간에 스타트업 창업자들이 이 질문에 답변할 수 있음 펀딩은 받을 수 있을 듯: 해당 영역/문제에 대해 당신만 알고 있는 인사이트가 무엇인가요?
Keith Rabois가 창업자에게: 런웨이 말고 “lift”에 신경써라
최고 오퍼레이터 (LinkedIn, Stripe 등) 출신이자 실리콘 밸리 탑 투자자인 Ketih Rabois; 창업자들이 하는 가장 큰 실수 중 하나가 현금 런웨이에 너무 신경쓴다는 것임
- 회사를 비행기 이륙하는 것과 비유해보자
- 회사는 lift(이륙)에 도달해야지만 가치가 있다. 런웨이는 비행기(회사)가 이륙할 수 있도록 공간을 만들어주는 도구일 뿐, 본질이 되면 안됀다
- Keith는 창업자가 펀드레이징을 할 때 “저희는 Y개월 런웨이를 확보하기 위해 X억원을 모집하고 싶어요” 얘기 듣는 것을 가장 싫어함
- 이러한 런웨이 프레임워크보다 창업자들은 “우리가 lift를 성취하기 위해 얼마의 돈과 어떤 자원이 필요하지?” 방식으로 접근해야 하고 work backwards 해야 함
- 예를 들어, 우리가 Lift를 하기 위해선 프로덕트 개발, 유저 인터뷰, 검증, 마케팅, 세일즈을 집행해야 하는데 필요한 최소한 금액이 X 수준임.
- 물론 한번의 시드나 시리즈 A 투자로 모든 리스크를 해소하고 모든 가설을 검증할 수 없음. “우리는 이 돈으로 PMF 찾을거에요” 같은 broad 한 얘기보다 매우 명확하게 우리 회사 향후 방향성을 봤을 때 3가지의 주요 리스크 (key inflection)이 있고, 금번 파이낸싱을 통해 우리 단계에서 가장 중요한 inflection X에 집중할 것이고, Y 지표로 성과를 모니터링할 것임. 그리고, 우리 모든 인원은 오로지 이 지표/리스크를 해소하는 것에 집중할 것임
- “다음 라운드를 잘 레이징하기 위해선 X의 런웨이가 있어야 해 - 아니면 협상력이 너무 낮아질 것이야”와 같은 조언은 쓸데 없고 틀렸음
- 회사가 Lift를 달성한다? 즉, traction이 있고, viral coefficient > 1 이다? 아무리 런웨이가 3개월 남았다 하더라도 평균 이상 벤처투자자라면 무조건 투자할 것
- 런웨이에 너무 신경쓰지 마라. Lift를 달성하기 위해 모든 것을 집중해라!
우버가 콜드 스타트 문제(cold start problem)을 해결한 방법
- 우버도 모든 플랫폼 기업과 똑같이 처음엔 콜드 스타트 문제가 있었음 (드라이버가 있어야 고객이 유입되고, 고객이 있어야 드라이버가 유입됨)
- 도데체 고객이 없는 플랫폼에 드라이버를 어떻게 유치할 수 있을까?
- 우버가 선택한 전략:
- 콜드 콜: 신규 시장 론칭 시 Yelp (국내의 네이버 사업 디렉토리 프로덕트와 유사)를 사용해 모든 리무진 회사에 콜드 콜 진행
- 피치: 드라이버를 설득할 땐 “택시 운전하실 땐 다운타임이 많으실텐데 중간중간에 우버 써보시고 돈 더 버실?” —> 드라이버 입장에선 기회비용이 제로이면서 돈도 더 벌어주니 굳!
- 리퍼럴 시스템: 드라이버가 우버 드라이버로 전환 되었을 때 리워드 시스템으로 주변 친구들에게 리퍼럴을 유도 (항상 느끼는 것이지만 특히 B2C 프로덕트에선 리퍼럴 전략은 그로쓰 해킹의 필수인 것 같음)
- 잠재 드라이버가 있는 곳으로 가자: 택시/리무진 운전사들이 많이 모여있는 곳은 공항 —> 공항 근처 호텔 컨퍼런스 룸을 빌려서 음식과 커피 제공 —> 드라이버들은 고객이 도착하기 전까지 음식을 즐기며 우버의 얘기를 들음 (게다가 호텔 컨퍼런스 룸들은 생각보다 성수기 때만 아니면 꽤 쌈!)
- jason’s thoughts: 스타트업은 대기업처럼 시스템과 룰들이 정해지지 않고, 길을 개척해나가야 하며 매우 제한적인 리소스로 scrappy하면서도 매우 효과적으로 문제를 하나씩 풀어나가는 것이라고 생각함. 이런 초기 스타트업 스토리를 매우 좋아하는 편 —> 무려 200조 시가총액 우버도 이런 날들이 있었다!
2024년 1분기 벤처투자 펀드 실적 현황은?
- 2022년 금리인상부터 벤처펀드 성과가 매우 murky해짐
- 포트폴리오들이 지속적으로 후속라운드를 유치하고 높은 밸류를 인정받을 땐 TVPI, IRR 등 실적 지표 보강을 위해 VC펀드들은 재깍재깍 밸류 업을 진행 (예. 100억 밸류 회사가 2,000억원에 투자유치 —> 내 펀드 멀티플은 20배!)
- 하지만, 2022년 이후 회사들이 많이 망가지고, layoff 진행하며 지속가능성과 BM이 의심스러워 질 땐 후속라운드가 없음 —> 후속라운드 이력이 없는 private company의 평가방법이 애매함으로 그대로 유지 (예. 2,000억원 회사가 누가봐도 망해가고 있는데 여전히 내 펀드는 20배를 먹고 있음!)
- 시간이 지날수록 (양심에 찔리거나 어쩔 수 없이?) VC펀드들은 조금씩 write-off(밸류 하향조정)를 진행하고 있음
최근 Carta에서 나온 VC 펀드들의 실적 하이라이트:
- VC 자본집행률: 2022년 빈티지 펀드들은 24개월동안 역대 최저치의 자본 집행률을 보이고 있음 (2022년 빈티지 43%; 이전엔 주로 47~60% 레인지) —> VC들이 역대급으로 조심스럽게 투자를 진행하는 것으로 해석
- Series A 졸업률: 2018년 Q1에 시드 투자 유치한 스타트업들 중 30.6%가 2년 내 Series A 투자 유치; 2022년 Q1 cohort들은 15.4%만 시리즈 A로 졸업 —> VC들이 역대급으로 조심스럽게 시리즈 A 회사들을 검토하고 있음; 추가로 스타트업들이 현재 시장상황을 고려해 자본효율적으로 운영한다는 뜻으로도 볼 수 있음
- DPI: 2021년 빈티지 펀드 중 90% 이상이 DPI (실제로 회수하여 LP에게 돌려준 투자금액)이 제로(!!)
- IRR: 2021년, 2022년 IRR은 박살; 물론 빈티지 별 IRR 비교는 어려울 수 있음 (VC펀드 성격상 처음엔 손실을 보다가 J-커브 그리는 형태가 많기 때문); 하지만 time-scale 별로 분석한 IRR 성과로 봐도 매우 암울한 상황 (either managers are extra careful of mark-ups right now, IRR is actually shit, or both!)
엔화 캐리 트레이드: 주식시장 폭락 이유 이해
- 캐리 트레이드란 저금리로 자금을 차입해 상품이나 주식 등 자산에 투자해 차익을 취하는 기법
- 예를 들어 기준금리가 사실상 제로인 일본에서 엔화 자금을 연 1%의 조건으로 빌려 1년 만기 금리가 연 4%대인 한국 채권에 투자하면 연 3%의 이자수익이 고스란히 떨어진다.
- 꽁돈 아닌가? Yes! 다만, 각 나라의 화폐가치가 consistent 할 경우…
- 위 예시에서 만약에 엔화 가치가 내가 투자한 화폐(KRW)가치보다 상승할 경우, 큰 손실을 얻게 됨
- 일본이 저금리 정책을 장기간 동안 고수하면서 헷지펀드들이 Yen Carry Trade를 많이 함 (Sell JPY, Buy other foreign currency such as USD, AUD 등)
- 헷지펀드들은 돈을 빌려 엔화를 “파는 것”이다 보니 엔화는 더욱 약세로 이어짐; 반대로 헷지펀드들이 사는 FX는 강세
- 갑자기 일본 BOJ가 기준금리가 인상되면서 엔화 가치상승 —> 어마어마한 양의 엔화 캐리트레이드 포지션들의 손실 발생 —> 마진콜로 인해 다른 나라 국가의 투자상품을 팔고 엔화를 사들여 손실을 보고 돈을 갚음 —> 다른 나라로 가있던 돈이 다 엔화로 몰리면서 엔화 가치 상승 —> 더욱 큰 캐리 트레이드 손실 발생
Rabbit, Humane 폭파 이후 새로 나온 AI Pin 회사: Friend
Friend는 아비 쉬프만(Avi Schiffmann)이 만든 새로운 AI 웨어러블 디바이스. 10대 시절 COVID-19 추적 웹사이트를 개발했으며 싹수부터 노란 것으로 유명. 목에 착용하는 펜던트 형태로, 생산성 도구가 아닌 외로움을 해소하기 위한 AI 동반자로 설계됨.
주요 기능:
- 항상 켜져 있는 마이크가 착용자 주변의 대화를 포착 (ambient)
- 들은 내용을 기반으로 자발적인 메시지와 “생각”을 전송
- Anthropic의 Claude 3.5 LLM으로 구동
- $99에 사전 주문 가능하며, 2025년 1월 배송 예정
- 구독료 없음 (?? 가능할까?)
- 약 15시간의 배터리 수명 (??)
프라이버시/윤리/사생활 이슈는 일단 논외로 두고 Friend AI 출시와 같이 논란이 많아졌는데..
- 회사는 총 $2.5M을 펀드레이징 했는데 이 중 $1.8M을 friend.com 도메인을 구매하는데 사용
- 그렇다면 프로덕트 R&D엔 나머지 $700,000만 사용했다는 것인데… 이 돈으로 과연 비디오에서 나오는 정도의 성능을 과연 낼 수 있을까?
- 아님 $99 Pre-Order를 working capital로 사용해 이제부터 프로덕트 개발을 하겠다는 것인가?
- 결국 Rabbit과 Humane도 데모를 통해 소비자들에게 엄청난 약속을 했지만 결국 follow-through는 못했음.. 실망감만 안김.. 얘네들은 다를까?
그럼에도 불구하고 매우 재밌는 컨셉인 것은 확실합니다. 잘 되었음 좋겠네요!!!
Screw WFH - 사무실 근처로 이사를 독려해라 (Peter Thiel)
- 개인적으로도 동료들과 가장 재밌는 논쟁이나 친해질 수 있는 계기나 배울 수 있는 기회가 in-person meeting이라고 생각
- 뿐만 아니라 사는 곳 근처에서 일하면 자연스럽게 자주 보고 같이 시간 보낼 수 있는 시간이 더욱 많아짐; $1000 per month is nothing compared to the return!
- 별거 아닌 것 같고 직관적이진 않지만 생각보다 훌륭한 동기부여 및 growth-hacking 방법인 듯
주식의 본질: Food for Thought from Stan Druckenmiller
- 레전드 헷지펀드 투자자 Stan Druckenmiller가 얘기하는 사람들이 가장 많이 하는 투자 오해: “People always forget that 50% of a stock’s move is the overall market, 30% is the industry, and maybe 20% from stock picking.”
- 투자 퍼포먼스에 가장 중요한 요소는 Picking보다 1번 시장, 2번 산업, 3번 피킹…
- “When an equity guy is playing airlines, he’s making an embedded macro call on oil.”
- Thoughts: 매크로 이해도를 키우자!
😡개빡침주의: 두산로보틱스 x 두산합병 - 슈카형이 얘기하는 국내 자본시장의 문제
- 이 방에 들어오신 분들은 슈카 채널을 많이 시청할 것입니다. 저도 애청자이지만 어제 올라온 “사람들은 왜 국장을 떠나는가” 비디오는 처음으로 슈카형을 존경하게 되고 용기 있는 목소리에 박수와 응원을 보냅니다.
- 두산로보틱스(530억 매출, -200억 영업이익) 회사가 두산밥캣(10조 매출, 1조 이상 영업이익)을 주식스왑으로 인수한다고 합니다.
- 500억대 매출, 4,000억원 순자산 회사인 두산로보틱스의 시가총액은 약 5.4조, 두산의 최고 알짜 기업인 두산밥캣은 시가총액이 4.9조원입니다.
- 시가총액이 비슷하기 때문에 1:1 합병을 한다면 이 거래에서 유일한 위너는 (주)두산, 즉 오너들입니다. 두산밥캣 간접지분 14%에서 인위적으로 42%로 땡겨올 수 있습니다.
- 어쩌면 이 날을 위해 두산 경영진은 두산밥캣이 저평가를 받도록 주주가치를 훼손했을 것입니다. 그렇게 돈을 잘 버는 회사의 배당성향은 17%입니다. 고성장 회사라면 회사에 재투자할 현금이 필요하다 보니 그럴 수도 있습니다. 하지만 소형 중장비 회사인 두산밥캣은 도데체 뭘 위해 현금을 쟁여놓는 것일까요? 어쩌면, 주가를 인위적으로 낮추기 위해 주주환원 정책을 외면한 것은 아닌지요? 두산밥캣의 PBR은 1배입니다.
- 배당정책을 펼치지 않은 이유는 주식스왑이 끝나고 (주)두산이 14% 간접지분이 아니라 42% 지분이 생겼을 때 배당을 하기 위함인가요?
- 솔직히 VC 씬 안에서 두산로보틱스가 말도 안되게 고평가 되어 있다는 사실을 모르는 사람 없을 것입니다. 심사역이 로봇 회사를 검토할 때 두산로보틱스 멀티플로 엑싯 시나리오 짜면 그거 믿는 투심위원들 한명도 없을 것입니다.
- 그리고 여의도 바닥에서 두산밥캣이 저평가 되어 있다는 것 또한 모르는 사람 없습니다.
- 소수 지분을 들고 있는 오너가를 위한 이런 이사회 결정들 때문에 국내 주식시장은 글로벌 시장에서 외면 받고 있습니다. 또, 오너들, 경영진, 이사회를 믿고 투자한 소액주주들은 또 한번 배신 당하고 피해를 입습니다.
- 공신력 있고 마이크를 갖고 있는 슈카 같은 분들이 이러한 내용을 공론화해서 참 다행이라고 생각합니다. 이 내용이 많이 공론화 되어 이사회에서 특정 일부 집단만에게 이익이 되는 결정이 아니라 모든 shareholder 들을 위한 결정을 하기 바랍니다. 그리고 이 계기로 국내 자본시장도 선진화 되기를 기대합니다.
$6B 투자받은 일론 머스크의 xAI; 테슬라가 추가 $5B 투입 암시?
- 올해 5월 xAI는 Post Money $24B에 $6B을 미래에셋, Sequoia, a16z 등으로부터 조달함
- 일론 머스크는 개인 트위터를 통해 테슬라가 $5B 추가 투입 검토 사실을 암시
Llama-3.1 405B 모델 공개!
- SOTA 수준에 달하는 첫 오픈소스 모델 출시! AI 스타트업이기에 매우 exciting한 상황!
- 모두 405B 모델을 사용할 인프라는 없을 수 있지만 70B와 8B 모델 또한 performance enhancement(405B 모델로부터 합성데이터 - distilled learning)를 거쳐 closed AI와 경쟁력 있는 퍼포먼스 보유
- 8B, 70B & 405B versions as Instruct and Base with 128k context
- 8B and 70B distilled using data from 405B
- Context length extended from 8k to 128k
- Multilingual, supports 8 languages, including English, German, French, and more.
- Trained on >15T Tokens & fine-tuned on 25M human and synthetic samples
- Commercial friendly license with allowance to use model outputs to improve other LLMs
- Quantized versions in FP8, AWQ, and GPTQ for efficient inference
- Llama 3 405B, 70B, 8B matches and beast GPT-4o on many benchmarks
- Supports Tool use and Function Calling
- Llama 3.1 405B available on Hugging Face Inference API and in HuggingChat
왜 Meta는 자기 모델을 오픈소스할까?
Letter from Zuck:
실리콘밸리 “슈퍼 베이비”의 시작 - 출산테크(Fertility Tech)의 약진
- Orchid Founder: ““I think that sex is for fun, and embryo screening is for babies. I think that it’s gonna become insane not to screen for these things.”
- 벤처투자자 Jack Abraham은 난소암을 유발하는 BRCA-1 유전자가 가족내력으로 있어 어머니와 이모를 잃은 바 있습니다. 자신의 아이에게 그러한 미래를 주는 것이 두려워 파트너에게 in-vitro fertilization(IVF)에 대해 이해를 구합니다.
- 아브라함과 그의 아내는 배아를 검사하기 위해 유전 검사 스타트업 Orchid를 선택했습니다.
- Orchid는 배아 하나당 $2,500에 유전 검사를 제공하며, 단일 유전자 장애와 당뇨병, 알츠하이머 병 등의 다중 유전 인자를 검사합니다.
- 이 회사는 배아의 DNA를 단 5개 세포로부터 99% 이상 시퀀싱하여 과거 1%만 시퀀싱하던 방법보다 훨씬 더 많은 정보를 제공합니다.
- 이를 통해 아브라함은 자신의 9개의 배아 중 4개가 BRCA 돌연변이를 가지고 있음을 발견하고 “최적”의 배아를 선택합니다.
- 이 외 일론 머스크와 시본 질리스 같은 유명 인사들도 Orchid의 서비스를 이용하고 현재 실리콘밸리 엘리트들 사이에선 많이 사용되고 있습니다.
- 한 Facebook의 엔지니어: “No one is having children naturally anymore.”
- 생식 기술은 빠르게 성장하고 있으며, 2021년부터 2023년까지 스타트업들은 매년 약 $400 million를 투자 받았습니다. 10년 전만 해도 $100M 이상 받기 힘든 시기였는데요.
- 다만, 배아 유전 검사 개념은 우생학(eugenics)을 조장할 수 있다는 윤리적 우려를 불러일으킵니다.
- 특히 지능과 같은 특성을 “유전”과 연관을 짓는 등(유전적 결정론)에 대해 회의적인 시각이 있습니다.
AI의 붉은 여왕 가설 - Red Queen Effect (2024-07-16)
- 붉은 여왕 가설이란 계속해서 발전(진화)하는 경쟁 상대에 맞서 끊임없는 노력을 통해 발전(진화)하지 못하는 주체는 결국 도태된다는 가설이다.
- 장기적으론 AI에 대한 보상은 현재 우리가 상상하는 것보다 훨씬 클 것으로 예상되지만, 단기적으론 AI에 대한 기대감이 과도하게 잡혀 있을 가능성이 크다고 생각합니다.
- AI의 회의론자들은 거대한 CapEx를 정당화 할 리턴(즉, 잠재고객들이 AI 서비스를 위해 지불할 금액)이 턱 없이 부족할 것이라고 생각하고 있습니다. 개인적으론 이러한 framework 보다 AI로 인한 비용절감 효과를 보는 것이 더 올바른 시장 전망 방법이라고 생각합니다.
- 그럼에도 불구하고 AI의 투자금에 버블이 아예 껴있지 않다는 것도 아닙니다. 분명히 많은 회사들의 투자금은 영원히 회수 되지 못할 수도 있습니다.
- 하지만, 이는 어쩔 수 없는 현상입니다.
- 예를 들어, 애플과 삼성 같은 거대 기업들이 끊임없이 새로운 스마트폰 모델을 출시하기 위해 경쟁하고 있습니다. 새로운 기능이나 모델이 즉각적으로 수익을 크게 증가 시키지 않더라도, 게임 이론 상 시장 점유율을 유지하고 고객이 경쟁사의 최신 제품으로 전환하는 것을 방지하기 위해 업그레이드가 필수적입니다.
- 현재 AI는 매우 중요한 플랫폼 시프트로서 우리는 새로운 산업 진화를 목격하고 있습니다. 기업들은 AI를 채택하거나 투자하지 않으면 시장 점유율을 잃고 점차 무의미해질 위험이 있습니다.
- 경쟁업체가 AI에 투자하고 있으므로, 나도 속도를 맞추기 위해 투자해야 합니다. 이러한 투자는 즉각적인 수익 증가나 모두에게 똑같이 배분 되지 않을 것이지만, 확실히 최종 사용자 경험을 증진 시켜줍니다.
- 경쟁자가 더 나은 사용자 경험을 제공하고 내가 그러지 못한다면, 중장기적으로 뒤처질 위험이 있습니다. AI의 궁극적인 보상이 우리의 현재 기대를 초과할 것이라고 저와 같이 믿는다면, AI에 대한 투자는 선택이 아니라 필수입니다.
- 투자하지 않으면 경쟁자에게 경주를 포기하고 시장 점유율을 잃는 것을 의미합니다. 이것이 레드 퀸 효과입니다.
- 저는 AI로 시장을 선도하는 사람들이 초기 투자에서 기하급수적인 수익을 얻을 것이라고 확신합니다. 따라서 AI에 대한 투자가 그만한 가치가 있다고 굳게 믿습니다. 그 보상은 거대하고 노력할 가치가 있습니다.
돈나무 언니의 AI 친구 리포트 (2024-07-12)
- 아크 인베스트(Ark Invest)와 돈나무 언니(Cathie Woods)는 잘 알려진 인물들입니다. 테슬라든 바이오든 성장 산업에 대해 항상 매우 낙관적이고 야심찬 리포트로 많은 이들의 관심을 받고 있죠. 이번에는 "AI Companion"에 관한 흥미로운 리포트를 발표했습니다.
- 저는 이전 블로그 글 “AI 트렌드를 보려면 AI 여자친구를 보라” (https://buly.kr/CWsFTNm)에서 AI Companion 시장이 매우 흥미롭고 AI 트렌드를 직관적으로 볼 수 있는 시장이라고 언급한 바 있습니다. 아래는 주요 내용 TL/DR.
- AI 동반자는 생성 AI로 구동되는 가상 캐릭터와의 직접적인 상호 작용을 통한 엔터테인먼트 및 사교 형태
- Replika와 Character.AI가 각각 AI 동반자 플랫폼의 가장 성공적인 예시. 그러나 현재 트래픽은 이러한 단순 챗봇 형태에서 다양한 형태로 분산 중.
- AI 동반자는 성인 엔터테인먼트와 NSFW(작업에 적합하지 않은) 콘텐츠에서도 주목할 만한 성장을 이루고 있음. 2024년 3월까지 NSFW AI 웹사이트는 온라인 성인 엔터테인먼트 플랫폼인 OnlyFans에서 점유율 14.5%를 차지했으며, 이는 1년 전 1.5%에서 크게 증가한 수치 (pic 1).
- 온라인 활동이 물리적, 대면 활동보다 편리하고 접근성이 뛰어나기 때문에 지루함을 해결할 수 있는 매력적인 대안임 —> AI Companion은 더욱 가속화 할 것 - 2023년부터 2030년까지 전 세계 사람들이 온라인에 소비하는 시간은 깨어 있는 시간의 40%에서 50%로 25% 증가할 것을 전망.
- 이미 AI 동반자의 채택 속도는 소셜 미디어와 온라인 게임의 초기 확산 속도보다 약 150% 빠르게 진행되고 있음 (refer to pic 2)
- 2023년 5월 출시된 Character.AI 앱의 월간 활성 사용자(MAU)는 텍스트 중심의 사용자 인터페이스에도 불구하고 하루 평균 0.6시간을 사용하고 있음. 이는 2023년 Roblox의 평균 사용 시간과 비슷하며 데이팅 앱의 평균 사용 시간인 약 0.1시간보다 훨씬 높지만 소셜 미디어의 평균 사용 시간인 약 0.8시간보다는 낮음 (refer to pic 3)
- 플랫폼이 더욱 몰입형으로 발전함에 따라 AI 동반자에 대한 참여도는 향후 몇 년 동안 현재의 소셜 미디어와 온라인 게임 평균 사이에서 유지될 가능성이 높다고 전망
- AI 동반자 플랫폼이 소셜 미디어 광고와 인플루언서 마케팅의 점유율을 차지할 것이며, 개인화된 AI 동반자가 소비자의 구매 패턴에 큰 영향을 미칠 것으로 전망 (refer to pic 4)
트렌드라인을 믿어라 - 2027년 AGI는 온다: 소베린 AI를 고민할 시기 (2024-07-11)
- 다음 주 올라갈 블로그의 주요 내용을 정리해봤습니다!
- 아래는 Leopold Aschenbrenner (전 OpenAI Superalignment 팀)의 Situational Awareness 블로그의 TL/DR. 2027년까지 AGI가 올 것이며 그에 대한 본인의 생각을 논리와 evidence 바탕으로 설명한다.
- AGI는 우리가 생각하는 것보다 가깝게 있다. 트렌드라인을 따라가면 2027년까지 도달 가능하다.
- 많은 시장 참여자들이 우려하는 스케일링에 따른 수확 체감 (diminishing return)은 나타나고 있지 않다. 모델들은 그저 배우고 싶고, 스케일링하면 더 배운다.
The models, they just want to learn; you scale them up, and they learn more.
- 2023년 기준 향후 4년간 약 100,000배 총 컴퓨팅 스케일업이 예상된다. 이는 GPT-2(2019)와 GPT-4(2023) 사이즈 스케일업이다.
- 스케일업을 통해 GPT-2에선 유치원생 급 지능, GPT-4에선 똑똑한 고등학생 수준까지 올라왔다. 2027년엔 PhD 급 지능이 가능하지 않을까?
- 물론 챌린지는 많다. 데이터 바틀넥, 알고리즘 혁신 속도 등 AGI에 도달하기 위한 현실적인 장애물은 많다. 하지만 이 벽을 뚫기 위해 전세계 어마어마한 인적자본과 돈이 투자되고 있다.
- 또한, 역사적으로 인공지능의 회의학파는 지속적으로 AI의 발전속도를 과소평가하였다. 우리는 지금도 적어도 몇 년을 걸릴 것으로 예상했던 Evaluation 벤치마크 (e.g. MMLU)를 몇 개월만에 saturation하고 있다.
- 트렌드라인은 확실하다. AGI는 2027년에 도달 가능할 것으로 보이고, 오히려 입증책임은 회의론자들에게 있다. 그들은 왜 갑자기 역사적 트렌드가 꺽일 것으로 생각하는가?
- 개인적인 생각:
- AI에서 최고 똑똑한 사람들: Elon Musk, Greg Brockman, Sam Altman, Mark Zuckerberg, Kevin Scott 등등이 모두 스케일링을 믿고 있고, 막대한 자금을 사용하면서 행동으로 믿음을 반증하고 있다. 내가 AI 엔지니어가 아니니 눈으로 보고 느끼지는 못하지만 이들과 반대되는 생각을 할 이유는 없다고 본다.
- 2027년까지 AGI 예측이 맞든 틀리든 미국 및 중국 내 AI는 기하급수적으로 개선되고 있다. 이는 자국 및 컴퓨팅에 접근 할 수 있는 몇몇 기관 및 기업들에게 엄청난 어드벤티지임. 이제 조만간 Sam Altman이 얘기한 Universal Basic Income (기본소득), 아님 Universal Basic Compute를 기대해야 하는 것일까?
- AI race에서 우리나라가 뒤쳐지는 마당에 이 양상이 지속된다면 다른 나라(미국, 중국)에게 AI와 컴퓨팅 자원을 기대할 수 밖에 없지 않을까? 소베린AI를 진지하게 고민해야 할 시기인가?
AI 쇼핑 에이전트 프로덕트! (2024-07-09)
다음 주제로 넘어가도록 하고…
오늘은 꽤 재밌는 AI 쇼핑 에이전트 프로덕트입니다! Shout out to @멜론머스크.
Styl이라는 앱인데요. 미국 명문대인 듀크대 학북생들이 만든 “Tinder for Clothes” 어플리케이션입니다.
개인화가 중요해진 시점에 추천 알고리즘의 중요성은 모두 다 알고 계실 것입니다. 넷플릭스, 아마존 등 최고의 어플리케이션들은 추천 알고리즘 때문에 성공했다고 해도 과언이 아니죠 (maybe a little?).
좋은 추천 알고리즘을 위해선 유저의 선호도 데이터를 잘 축적하는 것이 가장 중요할 것입니다.
하지만 기존 쇼핑몰의 유저 인터페이스는 유저의 선호도 데이터를 축적하기 최적화 되어 있지 않습니다.
기존 쇼핑몰들은 여러 상품들을 쭉 나열해놓고, 유저들이 좋아하는 상품이 눈에 들어오면 이어지는 행동 (CTR, 체류시간, 쇼핑카트 등)을 measure 하죠.
하지만, 이런 방식은 고객의 진정한 intent를 파악하기 어렵습니다. “정황증거”로 유추를 하는 것이죠.
Styl은 “Tinder”처럼 옷을 하나씩 보여주고 “swipe right,” 또는 “swipe left”를 통해 고객의 정확한 intent를 파악하고, 해당 데이터셋으로 고객의 preference(선호도)를 학습하여 더 뾰족하고 즐거운 고객경험을 선사하고자 합니다.
매우 재밌는 UI/UX 해킹 방법인 것 같네요. 다른 분들은 어떠신 것 같나요? 쇼핑을 즐겨 하시는 분이라면 사용의도가 있으실까요?
오픈소스 리더보드 업스테이지 퍼포먼스 논의 (2024-07-08)
즐거운 월요일 아침입니다! 오늘은 이 오픈챗의 취지와 맞게 최근 제가 본 AI 뉴스에 대해 공론화하고 대화를 나눠보고자 작성했습니다.
7월 1일 “Hugging Face releases harder, faster, stronger open-source leaderboard”라는 제목으로 카톡방에 업스테이지에 대한 내용을 올린 바 있습니다.
주요 TLDR은 아래와 같습니다:
- 최근 오픈소스 모델들의 성능이 빠르게 개선되면서 기존 오픈소스 Evaluation 벤치마크들이 Saturation 현상을 보여줌 (pic 1) —> 좀 더 쉽게 설명하자면 오픈소스 모델들의 성능들을 판별하기 위해 시험을 만들었는데, 모두 다 100점을 맞으면 우위를 판별하기 어려움.
- 그렇기 때문에 Hugging Face (오픈소스 모델 헙 플랫폼)은 더 어려운 시험으로 평가하기 시작! (비유하자면 고등학교 졸업하고 대학교 시험을 주기 시작)
- 매우 흥미로운 지표는 벤치마크 v1에서 v2로 업데이트 하고 나타난 각 오픈소스 모델들의 랭킹 변화 (pic 2). Upstage의 SOLAR 모델은 기존 오픈소스 리더보드 9등에서 46등으로 급하락함
제가 개인적으로 너무나 궁금한 사항은 왜 다른 오픈소스 모델들 대비 랭킹이 급격하게 떨어졌을까요?
- 제 매우 짧고 얕은 지식을 바탕으로 유추해볼 수 있는 것은 기존 SOLAR 모델이 v1 evaluation dataset에 오버피팅 되어 있었음 (비유하자면 고등학교 수학시험에서 한 친구가 정말 수학의 원리를 배운 것이 아니라 시험의 답안지를 외워서 좋은 성적을 받은 느낌)
- 답안지를 외운 친구의 경우엔 시험을 잘 볼 수는 있다 하더라도 실제 사용을 해보면 기초 원리를 파악하지 못하고 있으니 사용성이 떨어질 수 밖에 없음
제 목적은 특정 회사를 비방하려는 목적이 아니라 순수 호기심 (truth-seeking, first-principles thinking)으로 봐주시면 감사하겠습니다.
아래 주제로 생각을 공유 해주시면 좋을 것 같습니다!
- 위 오버피팅 외에도 급격한 랭킹하락에 다른 사유가 있을 수 있을까요?
- 왜 이 내용이 공론화 되지 않을까요?
- 생각보다 중국 오픈소스 모델들이 매우 좋은 성적을 보이고 있습니다 (pic 3). 이 것은 어떻게 해석해야 할까요?
P.S. 만약에 업스테이지 모델이 오버피팅 되었다고 하더라도 훌륭한 성과입니다. 저는 정황상 오버피팅이 되었다고 의심하는 것이고 다른 이유가 있나 탐구하기 위해 주제를 가져왔습니다. 또한, 이미 모든 오픈소스 플레이어 뿐만 아니라 거대 AI 회사들도 자기 모델을 부각시키기 위해 Evaluation 벤치마크를 어느정도 본인에게 유리하게 게임하긴 합니다. 그렇기 때문에 이런 3rd party benchmark (Lmsys, HF 리더보드 등)이 중요합니다.
💡 Inspiration of the Day: 🤯 Absolutely Bonkers AI Avatar Product for Creators! 🎨🚀 (2024-07-04)
- Founders of Argil.ai worked on their startup for 5 years and 2 rejections until they got accepted to YC (starting next week!)
- Hard pivoted and burned Argil v1 last October (dropped all initial projects and went all in on AI avatars for content creators)
- Benchmarked competitors and tried all open-source models; nothing met their expectations and built their own
- Over the past 6 months, worked their way through dozens of research papers, iterated 100s times, and finally got breakthrough moment around March
- Built SOTA and cost-efficient AI avatar model
- Now, after their product release:
- Went viral; 70 million views over all socials of demo (Mark Zuckerberg video below)
- 12k people on waiting list
- Starting YC next week
- Thoughts: The demo video is out of this world; props to the team for grinding out a solution and solving technical challenges despite overwhelming odds! It seems like they received 2.5m~5m euros according to EU-Startups; I guess it’s possible to build an amazing non-LLM foundation model from scratch without crazy funding!
- Link to Zuckerberg reacting to Grok (AI avatar generated parody): https://x.com/BrivaelLp/status/1769482175005577571
Meta’s New Text-to-3D Generator Creates 3D Models in Under a Minute (2024-07-03)
- New Meta 3D Gen platform delivers text-to-3D asset generation with high-quality geometry and texture
- “This system can generate 3D assets with high-resolution textures & material maps end-to-end with results that are superior in quality to previous state-of-the-art solutions — at 3-10x the speed of previous work,” Meta AI explains
- This is functionally similar to text-to-image generators like Midjourney and Adobe Firefly, but 3DGen builds fully 3D models with underlying mesh structures that support physically-based rendering (PBR).
- Support for PBR materials allows for realistic relighting of generated 3D objects. This capability is crucial for integrating AI-generated assets into real-world applications and existing 3D pipelines.
- 3DGen combines two of Meta’s foundational generative models, AssetGen and TextureGen, focusing on the relative strengths of each.
- “Meta 3D Gen is a two-stage method that combines two components, one for text-to-3D generation and one for text-to-texture generation, respectively” says Meta AI (refer to pic 1)
- Meta says that based on feedback from professional 3D artists, its new 3DGen technology is preferred over competing text-to-3D models “a majority of the time” while being three to 60 times faster.
- It is worth noting that by separating mesh models and texture maps, 3DGen promises significant control over the final output and allows for the iterative refinement common to text-to-image generators.
- The system’s texture generation component, Meta 3D TextureGen, can create high-quality and globally consistent textures for complex 3D geometries in less than 20 seconds. It also includes a texture enhancement network capable of upscaling textures to 4K resolution, meeting the demands of high-end visual applications. (refer to pic 2)
- This breakthrough could potentially bridge the longstanding gap between AI-generated content and professional 3D workflows.
- For the gaming industry, Meta 3D Gen could accelerate the development of expansive virtual worlds, allowing developers to rapidly prototype and iterate on environments and assets. In architecture and industrial design, the system could enable quick visualization of concepts, speeding up the design process and improving communication with clients.
- The technology also has significant implications for the growing fields of augmented and virtual reality. By lowering the barriers to creating high-quality 3D assets, Meta 3D Gen could accelerate the development of immersive experiences for education, training, and entertainment.
- Link: https://venturebeat.com/ai/meta-drops-3d-gen-bomb-ai-powered-3d-asset-creation-at-lightning-speed/
My Views on Generative AI Landscape (2024-07-02)
Below, I share some of my own thoughts on the current generative AI landscape. This is an edited excerpt from an internal memo.
1. Where will the opportunities arise in Gen AI?
- So far in Gen AI, value has accrued towards bottom of the value chain (e.g. Nvidia; about 80%+ so far), as seen during cloud transition (refer to pic 1)
- As cost of compute stabilize, many expect Gen AI value stack to shift in to a V-shape, awarding those higher up the stack (application, dev tools which are more consumer-facing - refer to pic 1)
- The billion dollar question is, will there be a renaissance of individual AI applications worth billions of dollars on the backs of OpenAI, Anthropic’s API, or will it be foundation model companies gobbling everything up?
- My thoughts —> it is ok for application companies to PARTIALLY use larger model player API to power some amount of critical workflow (synthetic data generation, reasoning, etc.), but it is not enough to just build fancy UI around an API. So far, application companies that have found success (generating recurring, quality revenue) such as HeyGen, PhotoRoom, ElevenLabs, Runway, MidJourney, Perplexity, Cognition Labs no doubt leverage larger models but all own a critical component of the workflow
- The more you can build in-house to offload critical workloads to internal assets AND drive better customer value vs. off-the-shelf solutions (e.g. OpenAI API), greater moat you will be building
- Another question is, will SaaS incumbents with established distribution, be able to reap benefits from AI upsell? So far, answer is No (e.g. Notion, Adobe, Figma, etc.). Time will tell as applications begin to charge customers for AI features (e.g. ServiceNow)
2. Is AI a hype?
- Some very smart investors believe investing in foundation models + hardware layer is ridiculous.
- “Foundation models are the fastest depreciating assets in history.”
- Despite recent VC fundraising difficulties, investors have piled into AI, rewarding the sector with hefty valuation and check sizes
- AI is only 3% of total deals, 15% of total capital, but 5x the valuation and 6x the round size of non-AI companies. Excitement is real.
- Pessimists worry about the capital-intensive nature of the business, and no hard evidence to back up an ROI claim —> it is true there is zero, tangible evidence of AI showing ROI in production at scale as of right now
- Question over ROI is central to the debate over whether AI is a bubble or not
- Napkin Math (refer to pic 2): Assuming 25% ROIC on $2.4T Net PP&E (investment over 2 years) equals $600B; You need $1.8T in return ($1.2T D&A + $600B ROIC). That equates to getting rid of 5% of payroll in OpEx, or 3% increase in rev at 50% EBIT margin. Personally, I think this is doable.
- Another evidence point is comparing earnings multiple of Nvidia with Cisco at internet hype
- Cisco saw its earnings multiple skyrocket from 37x to 132x at its internet bubble peak, while Nvidia’s 5 year average earnings multiple is 40x, and is currently trading at 39x
3. Where should we invest?
As an AI optimist, I find these 3 areas particularly interesting:
Platform Plays
Most likely should invest in “platform plays” that gives exposure to multiple verticals, workflows, and value chain. Prime example is Hugging Face which gives investors exposure to 1) open-source ecosystem (likely to be a significant component of AI), 2) horizontal workflow of everything MLOps, 3) powerful direct access to enterprises and developers. Another great examples could be LangChain (orchestration, evaluation, monitoring etc.) or Databricks (data infrastructure), albeit way too highly valued to justify entry now.
Country-specific Plays
Country-specific plays is another area of interest - AI is a strategic asset to any country, just as it is with chips, and while the timing of regulation is up to debate, it is bound to come. Within this line of thinking, Sakana (Japan) and Mistral (Europe) fits the bucket.
While language may not be a bigger differentiator as most would assume, I believe country-specific incentive to build AI independence and the regulation to support it will be.
Modality / Vertical Specific Plays
Much harder to find than the two above. Companies must have 1) great teams, 2) amazing product with proprietary technology (foundation model level, or significant tech differentiator), 3) revenue track record (not just experimentation, but in-production that are quality-recurring revs).
Above three things are MUCH harder to prove than most think, and it is a stronger moat than people realize (what if OpenAI does it? kind of questions). Companies I’ve mentioned above are all great examples (HeyGen, PhotoRoom, ElevenLabs, Runway, MidJourney, Perplexity, Cognition Labs).
New Architectures?
There are talks of investing in new architectures more recently within investor and research community (e.g. state-space models such as Mamba model from Cartesia). Extremely high-risk and moonshot - only makes sense if investor already has high exposure related to transformer architecture. Interesting area nonetheless.
Hugging Face releases harder, faster, stronger open-source leaderboard (2024-07-01)
How did Upstage’s Solar model perform in the new leaderboard? 🤯 Check out below to find out:
Why Leaderboards are Important
- Evaluating and comparing LLMs is hard. Hugging Face team wanted to reproduce and compare results from several published models. It was a nearly impossible task.
- Scores in papers or marketing releases were given without any reproducible code, sometimes doubtful, but in most cases, just using optimized prompts or evaluation setup to give the best chances to the models.
- They therefore decided to create a place where reference models would be evaluated in the exact same setup (same questions, asked in the same order, etc.) to gather completely reproducible and comparable results; and that’s how the Open LLM Leaderboard was born!
Problem with Leaderboard v1
- Leaderboard v1 became too easy for models. For instance, models are now reaching baseline human performance on HellaSwag, MMLU, and ARC (saturation)
- Newer models showed signs of contamination (models were trained on benchmark data - some scores stopped reflecting general performance of model and started to overfit on evaluation datasets)
- Some benchmarks contained errors (MMLU for instance)
Leaderboard v2
- Updated the leaderboard with new benchmarks with uncontaminated, high-quality datasets, using reliable metrics and measuring model capabilities of interest
- Six new benchmarks (MMLU-Pro, GPQA, etc.) covering general tasks such as knowledge testing, reasoning on short and long context, complex math abilities, instruction following, etc.
- New Rankings (refer to pic 1)
- Ranking changes from v1 to v2 (refer to pic 2); Upstage Solar model dropped 37 in ranking from 9th to 46th! What happened? Chinese models are doing surprisingly well, with Alibaba's Qwen topping the leaderboard!
Exponential rise of training costs for LLMs. Is it sustainable? (2024-06-28)
- Managing Partner of Thoma Bravo (Enterprise Software PE firm - $130B AUM) recently commented on exponential cost increase of LLM training. TLDR as well as my thoughts below:
- Economic theory—particularly in the technology industry—has long suggested that supply-side innovation can cause prices to fall rapidly for critical infrastructure, even with increasing demand.
- Gordon Moore, the co-founder of Intel, saw that theory in action. Moore observed that as the number of transistors on a computer chip doubled over a period of about 18 months, the price of the chip over the same period fell by about half.
- But fast forward to 2024, and generative AI seems to be turning Moore’s law on its head: costs of training the next generation of LLMs aren’t halving; instead, prices have roughly doubled every nine months.
- So what explains this reversal? It’s all about how LLMs scale. To date, many of the AI race’s main drivers have seemed to be hyper-fixated on scaling up the existing architecture. Many LLM champions believe that to get to where AI wants to go, “scale is all you need”.
- But today, I’m hearing more and more about scaling down. In stark contrast to LLMs, the small language model (SLM) “theory” is that smaller models, more tightly engineered for narrower applications and domains, will increasingly supplant LLMs.
- SLMs are also typically trained on finely curated high-quality data sets—analogous to the high-octane gas that the four-cylinder engine needs to use. As such, the costs of SLMs may map more closely to Moore’s law than their large-language counterparts.
- My thoughts: I absolutely agree that SLMs are going to increasingly penetrate and take on workload from LLMs to optimize latency and efficiency. But, LLM scaling will absolutely continue - not to mention the infinite amount of new capabilities a reasoning ability step-up would open up leading to exponential increase in reliance to these LLMs, where do you think you get the high-quality, scalable synthetic data for highly vertical workflows in the first-place? Scaling will continue - albeit many LLM companies may not be able to withstand CapEx and ROI pressure.
- 의견/생각 편하게 말씀 부탁드립니다^^
Rippling Memo 2019 (2024-06-26)
- Rippling led by Parker Conrad is one of the largest software wins in recent history. Their product strategy and execution is a chef’s kiss case study for building a startup. They chose “onboarding software” and “system of record” for employee data as point of entry in a highly competitive market dominated by incumbents, and WON. They are a premier example of why horizontal strategy, not vertical, is the way forward to build enduring value.
- At the time of the memo (2019), the company raised Series A $45M at a $300M pre-money valuation. Most recently (2024 March), company raised Series F $200M at a $13B pre-money valuation.
- What’s notable is that they didn’t use a slide deck for the Series A IR; instead, they used a 11 page memo, a practice Rippling has adhered to until today. TL;DR below:
- Why use a memo, instead of a slide deck? Decks are the default format for startup fundraising, but they have one major downside: they’re merely a visual aid to accompany an in-person presentation. Memos are standalone, requires less up front face time, and aligns more closely with the material your sponsoring GP will ultimately put together about the investment. Interesting!
Problem Statement:
- Most businesses have dozens of systems that maintain a list of their employees, and for the most part, none of these systems talk to each other or to any central system about who these employees are.
- Whenever something changes about an employee, many (and sometimes, all) of these systems need to be updated, and because they don’t point to any central authority, they each need to be updated separately and by hand.
- We believe that the effort to maintain this fragmented employee data across all of a company’s business systems is, secretly, the root cause of almost all the administrative work of running a company.
Company Strategy:
- If you can be the system of record for employee data, you can build a really successful business. Being the system of record for employee data is lucrative because this system has platform power that can be used in other business software and services categories that need to access this underlying employee data.
Product
- Understanding employee data lets Rippling answer questions like “who are your employees? what is their role or level or function in your organization, and therefore what type of access do they need to do their job?”
- Knowing answers to these questions naturally helps Rippling expand from simple onboarding software to ITSM, HR, Finance, and other crucial ERP functions.
Check out the full Rippling Memo below.
What it takes to be valued at >10x Rev (2024-06-25)
- Insight and evidence-packed article by Jamin Ball from Altimeter; Calls for founders and investors alike to be grounded in reality and paints a harrowing picture of current market sentiment… TLDR below:
- Private companies often think they’ll exit at a >10x revenue multiple because “that’s where Snowflake is trading and we’re also a data infra business.”
- It’s never that simple, so I wanted to lay out what it really takes to receive a premium multiple in the public markets. This is obviously based on markets today, which can fluctuate.
- Top 20 software companies with the highest revenue multiples (8x-21x) share these traits:
- All are FCF positive with a median FCF margin of 27%.
- LTM revenue >$600m, with most >$1B.
- LTM growth between 11%-42% (median 25%).
- Market caps mostly >$10B.
- The surefire way to receive a premium multiple is to show FCF margin leverage and profitability at scale, with modest growth. Easy enough :)
- What’s most interesting is scale (ie revenue scale) and FCF are more of a consistent factor than growth (🤯)
- Revenue multiples are tricky. Revenue multiples include assumptions not only about growth, but margins, market opportunity, competitive dynamics, and long-term intrinsic value.
- What is the market telling us today? Those outer year long-term assumptions are a lot more unknown and uncertain today. And when uncertainty goes up, multiple goes down.
- For these companies, their higher revenue multiples from the past never ended up making sense
- All of this to say - not all software is created equal. There really should be A LOT of dispersion when it comes to revenue multiples. We can’t simply assume every cloud software company will eventually hit 20%+ FCF margins, and can grow 20% at scale. The last two years have made this abundantly clear.
- The market today is simply saying “we don’t want to make assumptions about your profitability or growth at scale. We’ll pay the high multiple once the company is established and scaled.” The fact that 80% of the 20 highest revenue multiple companies have >$1B in revenue (and 100% of the top 10 are >$1B in revenue) shows this. IF you’re able to hit platform scale, and IF you can show FCF leverage, then and only then will you be rewarded with a premium multiple. For everyone else, they find themselves in a “prove it” stage (3~5x rev).
- What is the market telling us today? Those outer year long-term assumptions are a lot more unknown and uncertain today. And when uncertainty goes up, multiple goes down.
- For these companies, their higher revenue multiples from the past never ended up making sense
- All of this to say - not all software is created equal. There really should be A LOT of dispersion when it comes to revenue multiples. We can’t simply assume every cloud software company will eventually hit 20%+ FCF margins, and can grow 20% at scale. The last two years have made this abundantly clear.
- The market today is simply saying “we don’t want to make assumptions about your profitability or growth at scale. We’ll pay the high multiple once the company is established and scaled.” The fact that 80% of the 20 highest revenue multiple companies have >$1B in revenue (and 100% of the top 10 are >$1B in revenue) shows this. IF you’re able to hit platform scale, and IF you can show FCF leverage, then and only then will you be rewarded with a premium multiple. For everyone else, they find themselves in a “prove it” stage (3~5x rev).
OpenAI acquires Rockset (2024-06-24)
- OpenAI announced Friday it was acquiring Rockset, “a leading real-time analytics database that provides world-class data indexing and querying capabilities.” (basically “serverless RAG”)
- Rockset was founded in 2016 by two former software engineers at Facebook.
- Rockset has raised $117 million in venture funding to date, according to Crunchbase, with Sequoia and Greylock investing in multiple rounds.
- You are probably familiar with retrieval augmented generation (RAG) - It has quickly become the most popular technique for grounding AI model responses to corporate data.
- Pinecone introduced a serverless RAG product in January 2024, along with claims of 50x cost savings. Existing vector store services typically charge users for peak compute capabilities whether or not they are using it. Serverless RAG only charges users for computing resources when queries are active and uses less memory for indexes.
- The Rockset acquisition is related to a new phase related to data access and data ops - This phase is less about making the models better and more about improving the user output when AI foundation models are connected to enterprise data.
- OpenAI has focused so far on delivering strong AI foundation models and has left the RAG work up to developers that integrated knowledge retrieval solutions. Rockset will provide additional in-house expertise and tooling to enable more capabilities directly and at a lower operating cost.
End of Software (2024-06-23)
Thought-provoking article by Chris Paik of Pace Capital; received a lot of attention from silicon valley investors. TLDR below:
- Before the internet, content creation was expensive; because it was expensive to create, it had to make money
- When the internet happened, cost of content creation (UGC) and cost of distribution (e.g. Youtube) went to zero… and when content doesn’t cost anything to create, it no longer has to make money
- The relaxation of this economic constraint led to a Cambrian explosion–you can take a picture of a cup of coffee, post it to a million views or none at all and the market clearing price is still met. This produced a deluge of content that none of us could reasonably consume.
- These platforms completely T-boned media companies.
- Software is expensive to create. You have to pay people to create it, maintain it, and distribute it. Because software is expensive to create, it has to make money. And we pay for it–software licenses, SaaS, per seat pricing, etc.
- Software is expensive because developers are expensive. They are skilled translators–they translate human language into computer language and vice-versa.
- LLMs have proven themselves to be remarkably efficient at this and will drive the cost of creating software to zero. What happens when software no longer has to make money? We will experience a Cambrian explosion of software, the same way we did with content.
- Vogue wasn’t replaced by another fashion media company, it was replaced by 10,000 influencers. Salesforce will not be replaced by another monolithic CRM. It will be replaced by a constellation of things that dynamically serve the same intent and pain points.
- Software companies will be replaced the same way media companies were, giving rise to a new set of platforms that control distribution.
Forget about LTV/CAC; IRR on CAC is all you need (2024-06-22)
- All great late-stage companies are defined by one thing: their ‘go-to-market engine’ – their motion of acquiring (CAC), retaining, and upselling (Sales) customers
- LTV to CAC, CAC payback time is misleading
- Unlike LTV to CAC, yield adjusts for the most important principle in finance: time value of money.
- While Company A may look better at first glance, Company B who receives payment upfront has higher Yield on CAC (refer to pic 1)
- Line graph shows how cash balance differ over time with these strategies (refer to pic 2)
- The relationship is simple and beautiful: a company’s maximum ‘cashflow-neutral’ growth rate is exactly equal to its yield on CAC
- At a deeper level, using yield on CAC is the first step towards understanding your GTM engine as a separate business. Every growth-stage company is really two companies in disguise: an R&D and G&A machine, taking unstructured but high-reward risks that are paid for by your stable and existing customer base; and a GTM machine, consuming cash to acquire new customers in a structured, predictable, and high-yielding fashion.
- Conclusion: Make sure you follow your Yield on CAC, and tailor your strategy as needed
Share article
Subscribe to my newsletter
