현실 같은 그래픽을 위한 합성 데이터 AI를 연구하는 실리콘아츠
‘Ray Tracing’과 ‘Path Tracing’ 솔루션으로 더욱 생생한 그래픽스 효과를 제공하는 실리콘아츠 IT팀.
실리콘아츠의 윤주원 책임님과 정인혁 연구원님은 그래픽스 기술과 AI 기술을 접목해,퀄리티는 유지하면서 보다 빠른 실시간 영상 처리를 위한 연구에 몰두하고 계십니다.
연구원님과 함께 솔루션에 대해 알아보면서, AI 연구원으로서의 도전과 역량 강화 방법에 대해서도 들어보겠습니다.
👨💼자기소개
Q) 간단한 자기소개와 맡고 계신 업무에 관해 설명 부탁드립니다
안녕하세요. Siliconarts IT팀의 윤주원 책임입니다. 오늘 정인혁 연구원과 함께 인터뷰에 참여하게 되었습니다. 저희 회사는 극사실적인 컴퓨터 그래픽 기술인 레이 트레이싱, 패스 트레이싱을 연구 개발하고 있습니다. 레이 트레이싱과 패스 트레이싱은 기존 매스터 기반의 GPU에서는 표현하지 못하는 빛의 특성을 표현하는 고급 컴퓨터 그래픽스 기술입니다. QHD나 UHD와 같은 고해상도에서 처리 속도를 빠르게 하고 이미지 품질 처리를 원활하게 하기 위해서는 디노이징(denoising)과 슈퍼 레졸루션(SR, Super Resolution)이라는 기술을 사용해야 합니다. 그 때문에 그래픽스 기술 이외에도 AI를 사용한 딥러닝 기반의 디노이징과 SR을 연구 개발하고 있습니다. 더 나아가서는 NPU를 사용해서 오브젝트 디텍션을 하는 등의 AI 솔루션도 연구하는 중입니다.
Q)팀 혹은 본인의 업무 일과를 들어볼 수 있을까요?
저희 팀은 매일 오전에 스크럼 미팅을 하고 있습니다. 이 시간에는 단순히 업무 보고를 하는 것이 아닌, 서로의 업무에 대해 이해하기 위한 소통을 원활하게 하고 있습니다. 예를 들어, 각자 업무를 하다가 이슈가 발생할 경우에는 프로젝트 관리 툴을 활용하여 이슈를 해결하면서 맡고 있는 프로젝트 일정에 차질이 없도록 관리를 하고 있습니다. 또한, 저희는 AI와 관련된 트렌드를 예의주시하고 있는데요. 팀원들이 각자 AI와 관련된 새로운 소식들을 접하게 되면 공유하며 의견을 나누고 있습니다.
📹SiliconArts 인공지능 영상처리, 실시간 처리가 가능한 고급 그래픽스 솔루션
<레이 트레이싱 솔루션 회의>
Q) 개발 및 연구하고 계신 SiliconArts 인공지능 영상처리 솔루션에 대해 설명 부탁드립니다.
정인혁 연구원님 ) 팀에서 개발 연구 중인 AI디노이징, SR, 오브젝트 디텍션 등은 영상을 실시간으로 처리할 수 있도록 최적화한 기술이며 이미지 퀄리티를 개선하는 것에 초점을 맞추고 있습니다. AI 디노이징이란 고급 그래픽스 기술인 패스 트레이싱을 사용할 때, 처리 속도를 높이면서 이미지의 퀄리티가 떨어지지 않도록 하는 기술입니다. 처리 속도를 높이려면 적은 수의 샘플을 사용해야 하는데, 그렇게 되면 많은 노이즈가 결과 이미지에 영향을 미치게 됩니다. 이때 저희는 후처리로 AI 디노이징을 사용하여 문제를 해결합니다.
SR 솔루션의 경우 저해상도의 이미지를 고해상도의 이미지로 실시간 처리할 때 퀄리티 손실을 최대한 줄이는 기술입니다. 이 솔루션을 활용한다면 비디오나 실시간 네트워크 스트림을 처리할 수 있습니다. 일반적으로 2K를 4K로 처리할 때 처리 시간이 늘어나는데 SR 솔루션을 적용한다면 이를 가동 및 병렬 처리하여 초당 30장 이상을 처리할 수 있습니다. 오브젝트 디텍션이란 저희가 네트워크를 통해서 인풋 이미지를 가공하여 NPU에 넣어서 처리하게 되면 텐서(Tensor) 데이터들이 나오게 되는데요. 텐서 데이터들을 모델에 맞도록 코드를 짜서 데이터를 분석하면 결과물로 박스 정보와 같은 것들이 나옵니다. 이때 그 박스를 이미지에 오버레이하면 박스에 해당하는 클래스의 수치까지 나오게 됩니다. 클래스란, 정보 데이터가 차인지 사람인지 무엇인지 나타내는 지를 일컫습니다. 그리고 그 클래스가 AI 입장에서 봤을 때 얼마나 확실한지 수치가 나오고 그것을 실시간으로 처리하는 것입니다.
Q) SiliconArts 솔루션의 장점, 차별점은 무엇이라고 생각하시나요?
윤주원 책임님 ) 저희 팀에서 개발하고 있는 AI 솔루션들은 실시간 처리에 중점을 두고 있습니다. 일반적으로는 처리 성능에 집중하게 되면 아무래도 정확도와 퀄리티가 감소할 수 있으나, 저희 솔루션은 실시간으로 처리할 수 있도록 처리 속도를 향상시키면서도 퀄리티를 유지할 수 있는 개발을 하고 있습니다. 또한 솔루션들의 목적이 다 다르므로, 그 프로젝트의 목적에 맞도록 적절한 트레이드 오프 지점을 잘 찾아서 반영하는 것이 솔루션의 강점이라고 할 수 있습니다.
Q) SiliconArts의 솔루션을 특별히 추천하는 고객 및 서비스가 있으실까요?
윤주원 책임님 ) 실리콘아츠의 솔루션은 실시간으로 동작하는 모든 어플리케이션에 적합합니다. 예를 들어서 실시간으로 들어오는 카메라 영상이나 실시간 동영상 스트리밍 서비스와 같은 미디어와 관련된 분야에 솔루션을 추천하고 싶습니다.
Q) SiliconArts 솔루션의 강점을 반영한 서비스 사례가 궁금합니다.
정인혁 연구원님 ) 일반적으로 패스 트레이싱을 한 이미지의 경우 해상도나 조명에 따라서 처리 시간이 기하급수적으로 증가하고, 한 장을 그리는 데 짧게는 몇 분부터 몇 일까지 소요되는 것이 대부분입니다. 하지만 저희는 자체적으로 패스 트레이싱 이미지를 렌더링할 때 실시간 처리를 위해 저해상도와 적은 샘플링으로 렌더링하고, 디노이징과 슈퍼레졸루션의 후처리를 통해 실시간으로 이미지를 볼 수 있도록 최적화하고 있습니다. 딥러닝 베이스의 슈퍼레졸루션과 객체 검출의 경우 현재 고객사와 같이 진행하고 있는 프로젝트에서 실시간으로 카메라 영상을 받아 SR과 객체를 검출하는 솔루션을 제작 중입니다. 그리고 의료 분야에서도 피부 색소 침착 실시간 검출에 응용할 수 있도록 협업 중에 있습니다.
Q) 의료분야에서의 실시간 검출도 흥미로운데요. 이 분야의 솔루션 활용 방식은 어떻게 되나요?
정인혁 연구원님 ) 피부 색소침착의 경우 환자의 피부를 정밀기계로 비췄을 때 부분적으로 빛에 의해서 특정 부분의 색이 잘 나오지 않는 경우가 있습니다. 이때 솔루션을 바탕으로 원래 이미지로 복구하는 것을 목표로 하고 있습니다. 예를 들어, 색소 질환의 경우 레이저 진료를 하게 되는데요. 최근에 나오는 장비들은 영상으로 병변 부위를 검출하여 자동으로 레이저 조사 범위를 기계가 설정할 수 있도록 설계되어 있습니다. 하지만 그 병변 부위의 정확도가 떨어지므로 이때 저희 솔루션으로 이미지 고해상도 처리를 하여 딥러닝 인공지능 알고리즘을 돌립니다. 그렇게 만들어진 인공지능 모델을 통해서 병변 부위 검출력을 높이는 과제를 진행하고 있습니다. 앞서 말씀드렸던 슈퍼레졸루션, 디노이징 솔루션들도 이 과제에 포함되어 있습니다. 이를 통해 환자에게 이 장비를 갖다 대면 카메라로 영상을 실시간으로 처리하면서 레이저를 조사할 수 있게 됩니다. 이처럼 저희 솔루션은 영상이 포함되는 어플리케이션 쪽에서 활용도가 높으며, 향후에는 CT나 MRI와 같은 의료분야에서도 해상도를 높이는 작업도 할 수 있을 것으로 전망합니다.
Q) SiliconArts 솔루션을 200% 활용하는 방법이 있을지 궁금합니다.
윤주원 책임님 ) 컴퓨터 그래픽스 기술과 AI 기술의 접목으로 다양한 분야에서 활용할 수 있습니다. 예를 들면 합성 데이터 분야가 있는데요. 합성 데이터란 현재 실존하는 데이터가 아니더라도 합성 가상 공간에서 원하는 환경을 구축하고 학습 데이터를 생성하는 분야를 말합니다. 이 분야에 실리콘아츠의 솔루션을 이용한다면 강점이 더욱 잘 발휘되어 좋은 결과를 만들어 낼 수 있을 것으로 판단됩니다. 인공지능 모델을 학습시키기 위한 방안으로 기존에는 실제 데이터인 리얼 데이터를 활용하여 학습했지만, 늘어나는 인공지능 모델 개발에 대한 학습 데이터 수요를 감당할 수 없어 향후에는 인공적으로 컴퓨터 시뮬레이션을 통해 학습 데이터를 생성해야 합니다. 이때 인공적으로 생성한 합성 데이터가 얼마나 사실적이고 정교한가에 따라서 인공지능 모델 자체의 퀄리티가 결정되기 때문에, 학습용 데이터에서의 이미지 퀄리티를 향상시키는 것에 저희의 솔루션이 활용 가능할 것으로 판단됩니다.
🏅AI 연구원에게 중요한 것, 프로젝트 경험으로 끊임없는 도전 필요
<패스 트레이싱 기술에 디노이징을 접목한 모델에 대해 설명하는 윤주원 연구원>
Q) AI 연구를 하며 가장 기억에 남는 프로젝트가 있으신가요? 그리고 당시 활용했던 솔루션은 무엇인가요?
정인혁 연구원님 ) 다중영상 스트리밍을 실시간 스트리밍이 가능하도록 구현한 프로젝트가 기억에 남습니다. 다중영상 스트리밍이란 여러 개의 영상이 스트리밍되는 것을 말하는데요. 이때 여러 화면에 구역이 나뉘어서 여러 이미지가 실시간으로 처리가 되어 나오게 하는 것이 핵심입니다. 이를 위해 화면마다 오브젝트 디텍션과 같은 기술이 적용하여 카메라에 들어오는 각각의 이미지들을 개별적으로 처리할 수 있게 하였습니다.
Q) 그렇다면 다중영상 스트리밍에서의 실시간 오브젝트 검출의 효용은 무엇일까요?
윤주원 책임님 ) CCTV로 예를 들자면, 아파트나 공장과 같은 곳에는 여러 대의 CCTV가 작동하고 있는데요. 이때 카메라 개수대로 각각의 스트리밍을 받아서 ‘1번 카메라에는 사람이 검출, 2번 카메라에는 자동차가 검출’과 같이 오브젝트 검출을 실시간으로 처리하는 프로젝트가 다중영상 실시간 스트리밍 프로젝트인데요. 사용자가 만약 위험 구역을 지정한다면 그곳으로 사람이 들어갔을 때 실시간으로 검출하여 표시할 수 있습니다. 이를 통해 사용자는 위험구역에 누군가가 들어갔다는 것을 바로 확인할 수 있으므로 안전사고 예방에 도움이 될 수 있습니다. 그뿐만 아니라 어떻게 활용하느냐에 따라, 사용자의 요구와 목표에 따라 다양하게 활용할 수 있는 솔루션입니다.
Q) AI 연구를 하며 성과를 달성한 경험을 소개해주세요.
윤주원 책임님 ) 저희가 기본적으로 보유한 솔루션에 AI 연구를 접목하여 데모 프로그램을 만들어 성과를 창출했습니다. 레이 트레이싱이나 패스 트레이싱이라는 보유 기술에서 디노이징, 슈퍼 레졸루션과 같은 AI 연구 접목을 통해서 실시간으로 렌더링할 수 있는 데모 프로그램을 만들었고, 이를 CES 출품을 하고 코엑스에 전시를 한 부분이 기억에 남는 경험입니다.
Q) 그럼 반대로 일하시면서 난관에 부딪혔던 경험과 극복했던 방법에 관해 이야기해주세요.
정인혁 연구원님 ) 데모의 성능을 끌어올리는 부분에서 어려움을 느꼈던 경험이 있습니다. 기존의 하드웨어가 빠르긴 하지만 데모 성능을 끌어올리는 부분에서 소프트웨어적으로 병목현상이 발생했습니다. 병목 현상이란 데이터가 전달될 때 너무 많은 데이터가 쌓여서 딜레이가 발생하는 것을 말하는데요. 이에 대한 해결 방안으로 병렬 프로세싱을 처리해서 병목현상이 발생하는 부분을 해결했습니다. 이후 기존 FPS 대비 속도가 3배 정도 빨라지는 것을 확인할 수 있었습니다.
Q) 평소 AI 기술 트렌드를 파악하거나 공부하시는 데 있어서 특별한 노하우가 있을까요?
윤주원 책임님 ) AI 관련된 최신 논문들이나 정리된 서베이 논문, 또는 기사를 찾아서 읽으며 트렌드를 파악합니다. 그리고 코엑스 같은 곳에서 열리는 AI 박람회, 그리고 해외에서 열리는 CES를 방문하는 것도 트렌드 파악에 도움이 되는 것 같습니다.
🎯목표는 지속적으로 성장하는 AI 연구원이 되는 것
<AI 영상처리 솔루션을 연구 개발 중인 정인혁 연구원>
Q) AI 직무를 꿈꾸게 된 계기와 그 길을 걸어온 과정을 이야기해 주실 수 있을까요?
정인혁 연구원님 ) ChatGPT를 사용해 보면서 이 분야를 파고들어야겠다고 생각했습니다. 이전까지는 지식을 습득하기 위해서 블로그, 구글 등 다양한 매체에서 자료조사를 해야 했는데 ChatGPT를 통해 이러한 수고로움이 줄어들고 간단한 질문으로 서칭이 가능하다는 점이 인상 깊었습니다.
윤주원 책임님 ) 저의 대학원 시절은 ChatGPT나 AI보다는 머신러닝이 유행하던 시기였습니다. 다만 저는 AI가 스스로 학습을 하고 스스로 알고리즘 강화시키며 진화하는 부분에 매료되어 이 직무를 선택하게 되었습니다.
Q) AI 연구원이 되기 위해 필요한 역량은 무엇일까요? 그리고 역량을 강화하기 위한 노하우가 있다면 소개해 주세요.
정인혁 연구원님 ) 역량을 강화하기 위해서는 우선 경험을 해보는 것이 가장 중요합니다. 여러 모델을 직접 사용해 보며 어떠한 환경에서 어떤 네트워크가 더 나은지를 판단하고 적절한 학습을 통해 성능 지표를 끌어올리는 작업이 중요한 것 같습니다.
윤주원 책임님 ) AI 연구원으로서 최신 AI 기술의 동향이나 트렌드를 파악할 줄 아는 것이 중요하다고 생각합니다. 새로운 네트워크가 있다면 직접 사용을 해보고 장단점 파악부터 어느 프로젝트에 맞는지를 고민해 보거나 어떻게 알고리즘을 설계할지 분석해 보는 것도 역량 강화에 도움이 되는 것 같습니다.
Q) AI 개발자로서 본인의 직업적인 가치관 또는 연구원으로서의 목표는 무엇인가요?
정인혁 연구원님 ) AI 솔루션의 기능 다양화 및 최적화 프로세스를 적용하는 것이 목표입니다. 그리고 다양한 프로젝트 경험을 바탕으로 앞으로 어떤 솔루션이든 제작할 수 있는 실력을 함양하는 것이 최종적인 목표라고 할 수 있겠습니다.
윤주원 책임님 ) AI 솔루션들은 항상 실시간 처리나 퍼포먼스가 중요하기 때문에 이를 더욱 가속화하고 효율적으로 처리할 수 있도록 하는 것이 목표입니다. 또한 새로 등장한 NPU(Neural Processing Unit) 연구에도 기여해서 AI들로 이루어진 시스템에 발 빠르게 대응하고 앞서 나가는 연구원이 되고 싶습니다.
Q) 마지막으로, AI 연구원으로서, SiliconArts의 솔루션이 세상에 가져올 변화와 역할에 대해 말씀 부탁드립니다.
정인혁 연구원님 ) 실리콘아츠의 레이 트레이싱과 패스 트레이싱 기술, 그리고 그 기술을 통한 합성데이터는 AI를 학습시키는 데이터로 활용되는데요. 이러한 학습을 통해 사용자가 요구하는 커스터마이징된 데이터들을 저희가 쉽게 제공하는 산업을 구축할 수 있을 것으로 예상합니다.
윤주원 책임님 ) 현재는 레이 트레이싱 패스 트레이싱과 같은 그래픽스 기술이 실시간으로 렌더링하기에는 역부족입니다. 실제로 엔비디아와 같은 대기업에서도 실시간 처리가 어려울 정도인데요. 그래도 AI 기술과 더욱 밀접하게 접목하면서 기술 발전을 이루다 보면 점차 현실 세계와 구분이 힘들 정도의 퀄리티를 가진 가상공간의 이미지를 렌더링할 수 있으리라 봅니다. 이로써 AR, VR, XR 분야의 사업이 확장된다면 산업적인 측면에서도 많은 변화를 가져올 것입니다.