2023 AI 인사이트 - 셀렉트스타 AI팀
자기소개와 함께 셀렉트스타에서 맡고 계신 업무를 간단히 말씀해 주세요
민우: 셀렉트스타 기업부설연구소에서 AI NLP 연구를 담당하고 있는 김민우입니다. NLP에 관련된 전반적인 연구를 하고 있지만, 현재는 GPT 같은 Large Language Model을 통해 데이터를 자동 생성하고 그 데이터 중 좋은 데이터를 샘플링하는 연구를 진행하고 있습니다.
바롬: AI 팀을 리딩하고 있는 강바롬입니다. 지금까지 셀렉트스타에서 비전(Vision) 연구를 주로 해왔습니다. 데이터 라벨러들이 가공 업무 효율적으로 할 수 있게 도와주고, 수많은 원천 이미지의 특징을 시각적으로 쉽게 표현하는 방법에 대해 연구했습니다. 또한 AI팀 팀장으로서, 전체적인 AI 연구-개발 조직을 리딩하고 있습니다.
말씀 감사합니다. AI 분야의 연구를 크게 Vision과 NLP로 크게 나눌 수 있지만, 현재 셀렉트스타 AI팀에서는 ‘인프라’ 분야에 대한 연구도 진행 중이잖아요, 제게는 언급한 두 분야에 비해서 조금은 생소하게 느껴지는데요, 인프라 연구에는 어떤 과업들이 있을까요?
바롬: 보통 MLops라 하죠. 기업이 AI 서비스를 개발하고 성공적으로 배포한 것만으로는 끝이 아닙니다. 실제 서비스 환경에서 모델을 다시 검증하고, 재학습하는 절차가 필요해요. 하지만 연구원들이 제반 업무를 모두 수동으로 하게 되면 매우 많은 리소스가 투입됩니다. 이를 지원하는 파이프라인을 만들어주는 게 인프라팀 역할입니다.
바롬: 쉽게 말해 인프라팀이 만든 파이프라인을 활용하면, 모델을 개발한 뒤에 GUI(사용자 인터페이스) 내에서 간단한 버튼이나 클릭만으로 서비스를 모니터링할 수 있게 됩니다. 모델 추론 성능은 어떤지, 어떤 데이터가 입력됐는지 등을 ‘언테크’로 볼 수 있게 지원합니다.
혁주: 연구 및 개발 활동이 보다 효율적으로 이뤄질 수 있게 지원하고, 나아가 관련 업무에 투입되는 자본과 시간을 절약할 수 있겠네요.
바롬: 그렇습니다 ㅎㅎ
ChatGPT가 연일 화제인데요, 정작 오픈 AI 개발자들은 “챗GPT 내부에 담긴 기술 대부분이 신기술이 아니라 챗GPT의 성공에 당황하기도 했다“고 합니다. 학계에서 최신 기술이 아니었던 ChatGPT의 성공 비결은 무엇이라 생각하는지요?
민우: 가장 중요한 부분은 아무래도 ‘가설에 대한 믿음’인 듯합니다. 말씀하신 대로 ChatGPT는 기존에 있던 기술을 적절히 잘 조합한 언어모델입니다. 여러 가지 기술이 적용돼 있지만, 근간이 되는 모델은 2017년 등장한 ‘Transformer’ 구요.
민우 : Open AI는 Transformer 논문(’Attention Is All You Need’, 2017)의 방향성을 믿고 계속해서 규모를 확장하고 학습 데이터를 키웠습니다. 모델 크기를 계속 늘려도 성능이 언젠가 상한에 도달하는게 아니라, 지속적으로 향상될거란 확신이 있었고 MS(마이크로소프트)로부터 투자를 받아 이를 수행할 수 있었죠.
혁주: 그런 믿음과 확신은 어디서 올까요? ‘이거 된다’ 혹은 ‘안된다’. 너무나 중요하지만 쉽게 결정하기 어려운 문제 같아요.
민우: 당사자가 아니기에 구체적인 근거까지는 알 수 없겠죠 ㅎㅎ. 다만 일전에 오픈 AI 테크 리더가 한 세미나에서 이런 말을 했습니다. ‘자신에겐 믿음이 있었고 그 믿음을 이어 나가는 과정이 있었기에 GPT와 같은 모델이 나올 수 있었다’고요. 그래서 정량적 데이터에 기반한 의사 결정도 있었겠지만, 연구자 개인의 영감과 소신 그리고 장인 정신도 조금은 반영된 거라고 봅니다 :)
사진. (왼쪽부터) 셀렉트스타 AI팀 NLP 연구원 김민우, AI팀 팀장 강바롬
말씀 감사합니다. ChatGPT는 그 성능도 놀랍지만, API와 플러그인을 통한 확장성 또한 주목받고 있어요. 기존 서비스에 접목하기가 너무나도 쉬운 거죠. 하지만 장기적으로 보았을 때 생태계 전체가 특정 플랫폼에 종속될 수 있다는 우려도 해봅니다. 관련해서 어떻게 보시는지요?
바롬: 비슷한 고민이 최근 몇 년 사이에도 있었습니다. 클라우드 서비스가 처음 도입될 때 이런 우려가 있었다고 해요. ‘기업 내부에 있던 서버를 전문적인 플랫폼으로 옮기면, 당장 비용은 절감할 수 있겠지만 장기적으로 클라우드 사업자에 종속되지 않을까?’ 하는 걱정이요. 하지만 지금은 거의 모든 기업이 클라우드 컴퓨팅 서비스를 활용하면서, 이를 기반으로 더 생산적인 시도들을 할 수 있게 됐어요.
바롬: 기업들의 ChatGPT 활용도 이와 같았으면 좋겠어요. 모델 아키텍처를 가져와서 처음부터 전부 다 학습시키진 않더라도, 조금의 학습을 진행하면서 자신만의 모델로 승화시키는 작업을 꼭 거쳐야 한다고 생각합니다. 그러면은 이용을 넘어, 활용도 할 수 있으니까. 이런 관점이 대 AI 시대 작은 기업들이 살아남을 수 있는 방법이 아닐까 하는 생각입니다. 종속된다는 것을 두려워하지 말고 응용과 활용에 대해 고민할 시기 같아요.
이를 위해 실무 단계에서는 어떤 과업들과 병목 요소가 있을까요? 학습 데이터 구축이 중요할까요?
바롬: 학습 데이터 중요하죠. 한데 그보다는 자원, 적절한 자원을 과감하게 투자하는 결단이 중요하다고 생각합니다. 규모가 작은 기업일수록 투자에 대해 소극적인 경향이 있어요. 연구가 실제적인 비즈니스 성과로 이어지지 않을 경우 얻을 손실에 대해서 우려합니다. 하지만 어떤 새로운 기술이나 프로덕트를 개발하는 과정에서, 어느 정도 규모 있는 투자와 이에 대한 리스크 감수는 피할 수 없다고 봅니다. 너무 두려워하기보다는 합리적인 수준에서 기회비용을 기꺼이 지불한다는 인식이 좀 더 널리 퍼졌으면 좋겠어요.
GPT-4가 나왔습니다. 이전 버전에서 1750억 개였던 파라미터가 100조 개로 늘었다는 소문이 있었고, 오픈 AI CEO 샘 알트만은 터무니없는 루머라고 했죠. 그는 최근 인터뷰에서 ‘거대 모델의 파라미터 개수는 90년대 컴퓨터 스펙 경쟁과 같다’고 했습니다. 파라미터 개수는 모델 성능을 가늠하는 요소 중 하나일 뿐이라는 설명이죠. 파라미터 외에 인공지능 성능을 따질 때 고려할 점은 무엇일까요?
바롬: 말씀하신 대로 파라미터를 키우는 일이 능사는 아니거든요. 충분한 데이터가 필요합니다. ChatGPT 같은 경우도 1750억개의 파라미터를 학습시킬 데이터가 충분하지 않았기에, 인간 피드백 기반 강화 학습(RLHF, Reinforced Learning from Human Feedback)을 추가로 진행했죠.
바롬: 중요도로 따지면 파라미터 개수는 사실 30~40% 정도만 차지할 거 같아요. 나머지 충분히 소화할 수 있는 대량의 학습 데이터가 준비됐느냐, 다음으로는 실제 사람과 같이 답변을 생성하도록 하기 위해 어떤 방법을 동원했는가 등이 중요할 듯합니다.
민우: 동의합니다. 최근 GPT-3이 학습한 데이터 규모가 1750억개의 파라미터를 소화할 만큼 충분하지 않다는 연구 결과가 나왔습니다. 현재 대규모 언어 모델(LLM,Large Language Model) 대부분이 파라미터 사이즈는 크지만, 그에 대한 학습 데이터가 충분히 확보되지 않은 상황입니다. 뿐만 아니라 개별 태스크(task)에 적용되는 모델에 쓰일 학습 데이터도 그 수량이 부족한 경우가 대부분입니다.
혁주: 언급하신 문제에 대해 기술적인 솔루션이 있을까요?
민우: AI 모델을 통한 데이터 생성 연구가 진행된다면, 앞서 언급한 부분을 저비용으로 해결할 수 있을 것 같습니다. 최근에 모델 학습을 위한 데이터 생성 및 증강(augmentation) 분야를 관심 있게 지켜보고 있습니다.
NLP 인공지능이 ‘글을 이해한다는 것’은 어떤 의미를 가질까요? 정말 사람처럼 말하고 쓴다면, 인공지능과 인간을 구별할 수 없겠는데요.
민우: AI 연구자마다 관점이 달라 쉽게 말씀드리기 어려운 부분입니다. 제 생각을 말씀드리자면, ChatGPT같은 LLM은 학습가능한 세상의 모든 데이터를 최대한 확보하여 학습하였기에, 어떤 개념을 이해하고 추상적 사고를 통해 답변한다기보단, 이미 알고 있는 정보를 확률적으로 잘 예측하여 답변을 구성한다고 생각합니다.
보다 사람 같은 AI를 만들기 위한 많은 수단이 있습니다. 대표적으로는 강화 학습(Reinforcement learning, 선택할 수 있는 행동들 중 보상을 최대화하는 행동 혹은 행동 순서를 선택하는 방법)이 있지요. 한데 인공지능을 훈련시키는 강화 학습 절차를 AI가 수행하는 비중이 계속 증가하고 있다고 합니다. AI가 스스로 발전을 가속하는 특이점이 올까요?
민우 : InstructGPT를 필두로 ChatGPT, GPT-4까지 강화학습의 중요성이 점점 높아지고 있습니다. GPT-4의 테크니컬 리포트를 보면, 강화학습이 기존 GPT의 문제점을 모두 해결할 수는 없지만 전반적인 문제점은 괄목한 성능으로 해결한다고 합니다. 다만, GPT에 적용하는 강화학습은 사람의 피드백이 먼저 반영되어야 하기에, AI가 완전 스스로 발전하는 것은 힘들지 않을까 생각합니다. (그럼 위험하겠죠?)
기업 AI 연구원의 일상은 어떤가요? AI 분야 비전문가와 소통할 일이 많으신지? 소통에 대해 어려움은 없으신지?
민우: 최신 NLP 연구를 계속 팔로우업하면서, 회사 비즈니스에 도움이 되는 가설을 설정하고 그 가설이 맞는지 실험을 통해 검증하는 업무를 기본적으로 합니다. 가설 검증이 완료되어 모델을 구축하면, 프로젝트 매니저 및 개발팀 분들과 소통하여 실제 서비스를 준비하는데, 이때 소통을 많이 하게 됩니다.
민우: 소통 시 어려운 점은 AI 연구에서 사용되는 용어를 최대한 자제하고 정확하게 설명하는 것입니다. 그래서 항상 어떻게 하면 NLP 연구를 쉽게 설명할 수 있을지 생각하고 있습니다.
바롬: 연구원들이 모르는 사람에게 쉽게 설명할 수 있어야 제대로 된 지식 자산이라고 생각합니다. 소통하는 사람 입장에서 연구자가 단어를 어렵게 쓴다고 느껴지면 안 된다고 생각해요. 주신 질문처럼 많은 사람이 소통 관련해 ‘연구원들이 애로사항이 느낄 거 같다’고 여겨 주시는데, 그보다는 연구원들 또한 소통이 어려울 때면 ‘어느 정도 책임과 부족함을 느낀다’는 접근이 정확한 거 같아요. 본질만 왜곡되지 않는다면, 쉬운 말로 전달하는 게 무엇보다 중요하다고 봐요.
마지막 질문입니다. 셀렉트스타 AI팀에서 활동하며 가장 만족스러울 때는 언제인가요?
민우: 먼저 AI NLP 팀에서 연구하고 개발한 모델이 실제 업무에 적용돼 비용 절감으로 비즈니스 임팩트를 냈을 때 굉장한 보람을 느꼈습니다. 또한 업무와 직접적인 연관이 없더라도 평소 동료들과 AI 트렌드에 대해 활발히 소통하고 있는데요, 재밌고 뿌듯할 때가 많습니다. 앞으로 유망할 AI 기술에 대해 치열하게 논의하며 예측하고, 얼마간 시간이 지나 예측했던 방향으로 실제 글로벌 트렌드가 바뀌어 갈 때 큰 희열을 느끼는 듯 싶어요.
바롬: 예를 들어 달리(DALL·E, OPEN AI가 공개한 이미지 생성 AI**)**가 처음 나왔을 때 모델 구조가 너무 복잡한 거예요. 그래서 내부적으로 그 개선 방향성에 대해 자유롭게 토의했었는데 그 내용이 최근 널리 쓰이는 스테이블 디퓨전 방향과 비슷했어요. 무엇보다 좋은 동료들과 함께 일하고 소통할 수 있는 환경이 제일 만족스럽습니다
마지막 답변까지 멋진! 셀렉트스타 AI팀이었습니다.
시간 내주신 두 분께 감사드리며, 인터뷰 마치겠습니다 :)
#셀렉트스타 #AI팀 #비전 #NLP #인프라 #학회 #등재 #nlp #vision#MLops #ChatGPT #OpenAI #AI #인공지능 #Transformer #클라우드서비스 #인터뷰 #기술 #연구원 #기업연구원 #AI연구원 #LLM