Open-Source vs. Closed 모델: 승자는?

Feb 04, 2024

Contents

Open-Source vs. Closed AI - 질문 정의 어떤 타입이 리서치를 견인할까? 개인적인 생각: Depends; “모델크기”에 따라 다를 것 어떤 모델 타입을 가장 많이 사용할까?개인적인 생각: Depends; 둘 다 병합하여 사용할 것 결론: 누가 더 돈을 많이 벌까? 사용량 Monetizability (클라우드)Monetizability (클라우드 + Others)

Open-Source와 Closed 모델 중 누가 이길까? 현재 AI를 논할 때 특히 투자자들 간에서 빠질 수 없는 논쟁입니다.

이 topic에 대해 파고들기 전에 먼저 질문에 대해 정확히 정의를 해야 합니다. 사람마다 목적에 따라 이 질문을 해석하는 방법이 조금씩 다릅니다:

Open-Source vs. Closed AI - 질문 정의

1) 시장 관점: 미래에 승자는 누군가? 어디다 투자해야 할까? (e.g. OpenAI, 네이버 클로바 vs. Mistral, Upstage)

2) 개발 관점: 어플리케이션을 개발하는데 어떤 모델을 사용해야 할까? 시간과 돈을 투자하여 나만의 모델을 만들까, 아님 GPT-4를 사용할까?

3) 리서치 관점: Open-Source와 Closed 중 어떤 모델 타입이 cutting-edge 리서치를 견인할까? 미래에 과연 오픈소스의 성능이 Closed 모델을 따라잡을 수 있을까?

저희가 주로 언론에서 접하는 open-source vs. closed 모델에 대한 주된 토론은 #3 리서치 관점입니다. 오픈소스 모델의 리서치와 성능이 선행되어야 #1과 #2를 논할 수 있습니다.

어떤 타입이 리서치를 견인할까?

왼쪽 차트는 현재 오픈소스와 Closed 모델의 성능을 비교하는 차트입니다.

Closed 캠프에 있는 사람들은 중간 차트처럼 성능 스프레드가 넓어지는 것을 전망하고 계시고,

Open-Source 캠프에 있는 사람들은 오른쪽 차트처럼 스프레드가 좁혀지는 것을 전망합니다.

개인적인 생각: Depends; “모델크기”에 따라 다를 것

현재 대표적인 Closed 모델회사는 OpenAI, Anthropic, Google 등 자본력과 인력이 풍부한 대기업 —> 이들의 main goal은 초거대언어모델 (500B+ 파라미터) 개발

그러므로 초거대언어모델 영역(500B+ 파라미터 모델)에선 중간 차트처럼 차이가 벌어질 것으로 예상됨

💡

Closed와 오픈소스 모델 성능의 트렌드 라인; 점점 좁혀지는 것처럼 보이지만 GPT-3.5와 GPT-4 간 트렌드라인은 매우 가파른 상승을 보이고 있음

다만 작은 모델은 오른쪽 차트 양상을 보일 것으로 전망

파라미터 수가 적어 스타트업, 연구기관, 일반인 모두 참여할 수 있는 필드이며 “오픈소스”의 collective strength가 대기업의 자본력을 압도할 수 있을 것으로 전망됨

초거대언어모델 영역에선 대기업들이 차이를 벌려 놓으면, 오픈소스 커뮤니티가 쫓아가고 이 행위가 반복되는 “Game of cat and mouse”처럼 될 것으로 생각됩니다.

물론 대기업들이 초거대언어모델을 개발하며 얻은 노하우로 소형 모델에 적용하여 차이를 벌려 놓을 수는 있어도 일시적인 현상일 것

어떤 모델 타입을 가장 많이 사용할까?

Closed 모델의 가장 큰 강점은 1) General-Purpose이며 2) Developer-friendly 한 것입니다.

매우 강력한 강점이지만 오픈소스를 100% 대체하지 못하는 영역이 많습니다.

Data Privacy가 중요한 워크플로우에 대한 컴플라이언스 이슈

블랙박스 이슈: Customizability와 observability 제한

버티컬 use case에 대한 성능과 레이턴시 이슈 등

개인적인 생각: Depends; 둘 다 병합하여 사용할 것

현장에선 Closed와 오픈소스 모델 모두 병합하여 사용할 것으로 사료됩니다.

💡

HuggingGPT 논문; 유저가 프롬프트를 입력하면 HuggingGPT가 Orchestration Layer (or Controller) 역할을 하며 문제를 해결하는데 최적합한 모델에게 배분

즉, 고객으로써 저희가 기업 챗봇과 대화할 때, 모든 질문이 GPT-4나 Llama-2-70b와 같은 거대 모델을 활용하는 것이 아니라 문제의 복잡함, 레이턴시, 아웃풋 정확도 니즈 등에 따라 때로는 소형 모델을 번갈아가며 사용할 것.

다만, 가능하다면 AI 어플리케이션 개발자들은 직접 모델에 대한 소유권과 제어력을 원하며 비용 절감을 위해 Closed 모델 의존도를 낮추고, 점점 더 많은 워크로드를 오픈소스 모델로 분산시키는 시도를 할 것으로 전망함.

하지만 마찬가지로 General-Purpose LLM 성능이 필수적인 워크로드가 있어 미래에도 쭉 같이 병행 사용할 것으로 예상됨.

💡

오픈소스와 Closed 모델을 같이 사용하여 LLM 비용을 낮추는 방법들. Method 1은 해당 질문에 최적화된 Fine-Tuned 에이전트를 활용해 7.85초 / $0.06를 사용한 반면, GPT-4는 5배의 레이턴시, 40배의 비용 차이를 보여줌. Method 2는 불필요한 Input Token을 최소화하기 위해 Small LLM으로 pre-processing 한 후, 거대언어모델을 활용하는 방법.