더욱 정교한 AI 아바타를 위해 연구하는 브이다임
딥러닝 기술을 통해 2D 이미지를 3D로 바꿔 사람들과 상호작용할 수 있는 기술 개발을 진행하고 계신 브이다임의 이민철 개발자님은 AI Avatar를 비롯하여 다양한 연구를 진행하고 계시는데요.
브이다임 이민철 개발자님과의 인터뷰를 통해, AI 개발자로서의 자질과 필요 역량에 대해 알아보았습니다.
👨💼자기소개
Q) 간단한 자기소개와 맡고 계신 업무에 관해 설명 부탁드립니다.
안녕하세요, 브이다임(Vdigm)에서 개발자로 일하고 있는 이민철 선임입니다. 모바일, AR, 홀로그램 환경에서의 Generative AI Avatar와 반응형 AI Avatar, ChatGPT 적용 및 fine-tunning을 맡고 있습니다.
Q) 팀 혹은 연구원님 본인의 하루 업무 일과를 들어볼 수 있을까요?
하루 일과 중 대부분은 개발 업무에 집중하고 있습니다. 팀원들과는 주에 한 번씩 업무에 대한 피드백 시간을 갖고, 업무상 협업할 수 있는 부분에 대해 논의하고 있습니다.
🖼️평면적인 이미지에 생동감을 불어넣는 법
<RAvatar 서비스 지원 환경과 홀로그램을 사용한 아바타에 대해 설명하는 이민철 연구원>
Q) 개발 및 연구하고 계신 솔루션에 대해 자세한 설명 부탁드립니다.
Generative AI Avatar는 딥러닝 기술을 이용하여 2D 이미지로부터 3D 실감 아바타를 생성하는 솔루션입니다. 사용자의 스마트폰 카메라나 웹캠 등을 이용하여 촬영한 한 장의 2D 이미지로부터, 개인용 3D 실감 아바타를 생성하는 데 쓰이고 있습니다. 개인이 선호하는 스타일을 반영하여 보정할 수 있고, 자신의 3D Profile 용 NFT를 생성할 수 있습니다.
Responsive AI Avatar는 사람과 말하고, 따라 움직이고, 자연스럽게 반응 및 행동하는 브이다임의 실감형 AI 아바타 솔루션입니다. 현재 외국어 교육 솔루션 및 메타버스 패션쇼 플랫폼에 사용하고 있습니다.
Q) 앞서 말씀해 주신 AI 솔루션에는 어떤 AI 모델 및 기술이 적용되어 있나요?
우선 첫 번째로 Generative AI Avatar는 딥러닝 모델입니다. 한 장의 입력 영상에서 정면, 후면에 대한 normal, color, depth 정보를 예측하는 형태로 이루어져 있으며, 이를 위해 3개의 Attention U-Net network를 사용하고 있습니다.
두 번째로, Responsive AI Avatar는 AI 아바타 NPC의 지능형 대화를 위해 GPT-4 모델을 사용하여 fine-tuning을 진행하고 있습니다. 직업/나이/지역/관심사/성별/MBTI 등의 다양한 페르소나를 적용하여 스스로 상황에 맞게 답을 할 수 있는 NPC 기능을 개발 중입니다.
Q) 위 솔루션을 특별히 추천하는 고객 및 서비스가 있으실까요?
위의 두 가지 AI 솔루션을 실감형 메타버스 서비스에 적용하는 것을 추천합니다. 이전에 보지 못했던 재미나는 경험을 제공할 수 있다고 확신합니다.
✨AI 개발자, 끊임없는 탐구 정신과 배우려는 자세가 필요
<이민철 연구원이 홀로그램 개발을 테스트하고 있는 모습>
Q) AI 개발에 있어 힘든 점과 극복 방법에 대해 알고 싶습니다.
새로운 기술을 끊임없이 배워야 한다는 점이 힘들다고 느껴질 때가 있습니다. 분기마다, 혹은 매달 새로운 기술이 업데이트되기 때문에, 이런 기술을 저희 서비스에 적용하기 위해서는 꾸준한 공부가 필요하거든요. 극복 방법으로는, 새롭게 배운 기술을 서비스에 적용했는데 별문제 없이 동작할 때, 저 스스로 새로운 원동력을 얻는 것 같습니다.
Q) 그럼 반대로 일하시면서 즐거웠던 경험이 있다면 말씀 부탁드립니다.
저희 아바타 모델에 ChatGPT 모델을 적용할 때, 몇 가지 문제점이 있었습니다. TTS(text to speech), 텍스트를 음성으로 변환하고, 이를 다시 텍스트로 변환하여 아바타의 음성을 송출하는 작업이나, 아바타의 입 모양에 맞춰서 음성을 재생하는 등의 작업 중 맞닥뜨렸는데요. 문제가 발생할 때마다 하나씩 해결하며 서비스를 구성할 때 즐거웠고 보람을 느꼈습니다.
💫개발자, 무에서 유를 창조하는 매력적인 직업
< 아바타 생성을 위한 다양한 데이터 수집 및 활용을 설명 중인 이민철 연구원>
Q) AI 연구원으로서 전문성, 혹은 역량 개발을 위해서는 어떤 노력이 필요할까요?
데이터를 학습시켜서 좋은 결괏값을 도출해 내는 작업이기 때문에, 어떻게 하면 Fine tuning을 할 수 있을지 방법론을 깊게 고민해 보는 것이 중요합니다. 또한 AI 계열 대부분은 파이썬을 사용하기 때문에, 언어를 숙지하고 계신다면 더욱 도움이 될 것 같습니다. 그리고 새로운 기술을 익히는 것에 대한 거부감이 없는 것 역시 필요한 역량이라고 생각합니다.
Q) 평소 AI 기술 트렌드를 파악하거나 공부하시는 데 있어 특별한 노하우가 있을까요?
Computer Vision and Pattern Recognition Conference (CVPR) 논문을 검토하거나 생성형 AI 아바타 관련 영상을 즐겨 보고 있습니다.
Q) 개발자를 꿈꾸신 계기가 있으셨나요?
제가 지금의 직무를 꿈꾸게 된 것은 대학 시절 개발 언어를 배우면서부터인데요. 공부하면서 자연스럽게 개발 업무에 대한 호기심이 생겼고, 프로젝트를 수행하면서는 이 계열에서 업무해 보고 싶다고 생각하게 되었습니다. 또한 저에게 있어서 개발은 여러 도구를 잘 활용하여 무에서 유를 창조해 내는 작업이라 매력적으로 다가왔고, 해당 업무를 꿈꾸게 되었습니다.
Q) 마지막으로 AI 연구원으로서, AI 연구가 세상에 가져올 변화와 역할에 대해 말씀 부탁드립니다.
사진 한 장만으로 불쾌한 골짜기를 넘을 수 있는 실감형 아바타를 쉽게 생성할 수 있으면 좋겠습니다. 또한 멘탈 케어 분야에서도 전문적인 상담의 역할까지 가능한 반응형 AI 아바타 서비스로 우울증이나 스트레스를 쉽게 줄일 수 있는 건강한 세상을 기대합니다.