고객 맞춤 인사이트 제공을 위한 소셜 빅데이터를 연구하는 알에스엔
다양한 산업군의 고객들이 각자의 목적에 부합하는 인사이트를 얻어갈 수 있도록 소셜 빅데이터 솔루션 ‘LUCY 2.0’의 제반 업무를 담당하고 있는 루시플러스팀.
루시플러스팀의 장현후 팀장님은 소셜 빅데이터 분석 플랫폼 'LUCY 2.0'의 사용성 향상을 위한 업무를 총괄하고 계십니다.
서비스 품질 향상과 고객들의 어려움 해소를 위해 긴 시간 노력 해오신 장현후 팀장님과의 인터뷰를 통해, AI 연구원의 업무와 자질을 알아보고, 업계 이야기도 함께 들어보겠습니다.
👨💼자기소개
Q) 간단한 자기소개와 맡고 계신 업무에 관해 설명 부탁 드립니다.
안녕하세요. 저는 소셜 빅데이터 관련 기업 RSN의 루시플러스팀에서 소셜 데이터 분석가로 일하고 있는 장현후 팀장입니다. 저희 팀은 SaaS기반의 소셜 빅데이터 플랫폼 LUCY 2.0의 운영/관리부터 사용자 교육, 기능 개선, 소셜 데이터 기반 신규 서비스 기획 및 데이터 분석 등의 역할을 맡고 있습니다. LUCY 2.0과 연관된 모든 업무를 수행하는, 올라운드플레이어만 모아둔 팀이라고 보시면 될 것 같습니다.
소셜 데이터의 양이 워낙 방대하다 보니, ‘구슬이 서 말이라도 꿰어야 보배’인 것처럼 분석 목적과 그에 맞는 적합한 조사 설계 및 키워드 세팅이 필요합니다. 또한 가비지 패턴들을 발굴하고 분석에 반영해 주어야 목적에 부합하는 적합한 데이터로 인사이트를 도출할 수 있는데요. 그 모든 과정에서 수반되는 기술적인 지원부터 분석 방안에 대한 제안까지, 적재적소에 고객의 소셜데이터 활용 역량 강화를 위해 투입되고 있습니다. 더불어 RSN이 보유한 방대한 소셜 빅데이터를 기반으로, LUCY 2.0이 더 다양한 산업군에 활용 가능한 플랫폼이 될 수 있도록 전반적인 연구를 하는 역할도 하고 있습니다.
Q) 루시플러스팀의 업무 일과를 들어볼 수 있을까요?
저를 포함해서 총 다섯 명이 한 팀을 이뤄 근무 중입니다. 저희 팀의 최우선적인 목표는 현재 Lucy 2.0을 사용하는 고객사들의 불편 사항을 해소하고, 그분들이 목적에 맞춰 Lucy를 활용하실 수 있는 방법을 같이 고민하고 지원해 드리는 것입니다. 이 역할이 팀 업무의 7할 정도를 차지한다고 볼 수 있어 가장 많은 자원 투입을 하고 있습니다.
LUCY 2.0의 국내 고객사는 약 100여 개이고, 사용자 기준으로는 1,500여 명에 이르기 때문에 팀에서 다양한 고객사들의 사례나 의견을 접하게 됩니다. 그러다 보니 고객사들과 함께 숙제를 풀어나가는 과정에서 자연스럽게 여러 케이스들이 발생하는데요. 맞닥뜨리는 주제가 쉬운 경우에는 빨리 풀기도 하지만, 어려운 주제를 접 할 때는 팀원 모두가 함께 고민하여 해결하고 있습니다. 대체로 팀원 개개인별로 접하는 과제가 달라서, 과제를 풀어나가는 과정 중 LUCY 2.0을 활용하는 방법을 새롭게 찾아내거나 고객사와 함께 색다른 방식으로 문제를 해결하면서 내부 팀원들끼리 케이스 스터디가 이루어집니다. 그 결과를 팀 내에서 공유하며 플랫폼 활용도나 소셜 데이터 접근도를 높이는 등 함께 성장하고 있습니다.
더불어 LUCY 2.0의 플랫폼 내 분석 역량 강화를 위해, 팀원별로 한 가지씩 주제를 정하여 1년 동안 그 분야를 개선하기 위한 자발적인 활동을 수행하고 있습니다. 예를 들면, 요즘은 광고도 AI를 활용하다 보니 특정 채널에 올라오는 광고 패턴을 알고 싶어도 찾아내기 어려운 편인데요. 저희가 패턴을 찾아서 연구소 쪽에 보내드리면, 연구소에서는 그걸 학습 데이터로 활용하여 AI가 관련 패턴을 발굴할 수 있도록 만듭니다. 저의 경우에는 올해 유튜브만 모아 분석할 수 있는 하나의 섹션을 만드는 것을 주제로 일을 진행하는 중입니다. 올해 상반기만 120여 개의 사용성 및 데이터 품질 재고를 위한 방안을 찾고 개선방안을 제안하면서 개발팀과 함께 만들어 가는 활동을 해 나가고 있습니다.
🗃️LUCY 2.0, 소비자의 생각을 읽는 빅데이터 솔루션
<정확한 데이터 분석을 위해 연관 키워드 제외어를 설정하는 장현후 데이터 분석가>
Q) 개발 및 연구하고 계신 소셜 빅데이터 솔루션에 대해 구체적으로 소개 부탁드립니다.
LUCY 2.0은 방대한 양의 데이터를 PC 앞에서 언제 어디서든 실시간으로 분석할 수 있는 소셜 빅데이터 플랫폼입니다. 국내에서 가장 방대한 수집 커버리지를 갖고 있으며, 다양한 채널에서 하루 평균 2,500만 건의 데이터를 수집합니다. 구체적으로는 뉴스, 블로그, 카페, 커뮤니티, SNS, 기업 및 단체, 정부 및 공공기관 등 크게 12개의 채널을 대상으로 이루어지고 있습니다. 2017년 출시 시점부터 현재까지의 누적 데이터를 제공하고 있어 원하는 키워드 및 조건을 입력하면 누적 데이터를 바탕으로 장기간의 데이터를 살펴볼 수 있습니다. 또한 키워드 하나로 이종의 다양한 주제를 분석할 수 있는 범용성도 갖추고 있는데요. 요즘은 의류 회사가 밀가루 제조사와 콜라보 하는 등 이종 간의 협업도 잦은 일이다 보니, 많은 고객사가 다년간 사용해 주시고 있습니다. 최근에는 각 기업에서 전속분석팀을 만들 정도로 관심도가 높아져서 저희에게 역으로 분석 편의성 개선 방안이나 새로운 사용 방법을 제안해 주시기도 하는 만큼 점차 고객과 함께 성장하는 플랫폼이 되어 가고 있는 것 같습니다.
Q) LUCY 2.0에는 어떤 AI 모델이 적용되어 있나요?
BERT(구글 기반 자연언어 처리모델) 기반으로 구어체 분석에 특화된 AI 모델을 활용하고 있습니다. AI 모델을 위해 3억 문장 이상의 말뭉치 학습이 이루어졌고, 비정형 구어체에 특화되어 온라인 소셜 데이터를 분석합니다. 이를 위해 자연어 처리(NLP), 개체명 인식, 토픽 모델링(전체 내용물에서 일정한 패턴을 발견하는 것), 클래시피케이션, 감성 분석 등을 제공하며 각 고객 니즈에 맞는 제품 분석, 브랜드 분석, 소비자 경험 분석 등에 활용할 수 있습니다.
Q) 가장 인상 깊었던 솔루션 활용 사례를 들어볼 수 있을까요?
LUCY 2.0은 제조, 유통, 식품, 패션, IT/서비스, 광고/홍보, 연구/컨설팅 등 다양한 분야에서 폭넓게 사용되고 있는 만큼 활용사례도 다양하지만, 최근에는 소비자의 언어로 상품을 기획하고 리뉴얼하기 위해 활용하는 사례가 많이 늘어나는 추세입니다.
똑똑한 소비자가 늘어나고, 제품별로 유사성이 짙어지고, 제품군의 품질 역시 상향 평준화되어 가다 보니 고객에게 어필할 수 있는 차별화된 핵심 메시지를 도출하는 것이 중요해졌는데요. 같은 말이라도 ‘아’ 다르고 ‘어’ 다르다고, 어떤 단어를 사용해야 소비자들의 주목을 받을지를 많이 고민하시는 것 같습니다. 제품 기획이나 개발, 런칭까지 데이터 분석을 통해 도출한 핵심 메시지에 맞춰 이루어지는데요. 소비자가 효과적이라고 언급하는 표현법이나 단어를 발굴해 그에 적합한 기능과 성분을 더하고, 키 메시지도 같은 맥락으로 구성해 타사 대비 언어적 우위를 갖고자 하는 방안입니다.
예를 들면 화장품 회사가 안티에이징 제품을 출시할 때, 서로 다른 회사의 제품이라도 쓰이는 성분이나 효능은 사실 대동소이합니다. 그렇다면 요즘엔 어떤 표현을 사용해야 소비자들이 제품 효과를 더 긍정적으로 받아들일까 하는 부분을 고민하게 되는 거죠. 이전에는 ‘집중 케어’, ‘핵심 케어’ 같은 단어의 사용이 대세였다면 현재는 'XX 케어' 등 다른 표현 형태가 주목받는다는 분석 결론이 있었습니다. 실제 이러한 결론을 바탕으로 상품 리뉴얼을 준비 중인 곳이 있는데, 꼭 성공했으면 좋겠습니다.
Q) LUCY 2.0의 장점, 차별점은 무엇이라고 생각하시나요?
소셜 데이터를 수집하는 커버리지가 국내에서 가장 폭넓다는 점, 가장 빠르게 실시간 데이터가 제공된다는 점이 국내 타 플랫폼들과의 차별적인 장점이자 핵심입니다. 실시간 데이터의 경우 최소 5분 단위로 제공해 드리고 있으며, 데이터 수집, 가비지 패턴 제거, 문장 단위 분석, 키워드 분류, 패턴 적용 및 긍·부정 파악까지의 과정을 모두 포함한 시간입니다. 다양한 데이터를 제공함에 따라 분석가 입장에서는 자유도 높게 데이터를 활용할 수 있습니다.
해외 플랫폼과 차별점이라고 한다면, LUCY 2.0의 경우 한국 태생인 만큼 한글에 최적화된 언어분석 솔루션을 보유하고 있습니다. 따라서 신조어, 줄임말, 펫 네임 등 다양한 한국어 단어들을 더욱 자연스럽게 나타낼 수 있습니다.
Q) LUCY 2.0을 특별히 추천하는 고객 및 서비스가 있으실까요?
LUCY 2.0은 전 산업에서 폭넓게 활용되고 있는 만큼 모두에게 추천할 수 있는 범용의 플랫폼입니다. 그래도 LUCY 2.0을 적용했을 때 투자한 시간 대비 최고의 효율을 올릴 수 있는 분야를 고르자면, ‘CRM’이나 ‘상품개선’, ‘CS’ 쪽이 될 것 같습니다.
말씀드렸듯이 국내 최대 커버리지를 가지고 가장 빠른 실시간 데이터를 제공하는 만큼, 특정 브랜드나 제품에 대한 불만이나 불편한 점을 언급하는 글을 빠르게 파악할 수 있어 고객의 의견을 듣는 데 효과적입니다. 긴급 알림, 이상징후 등 특정한 부정적 패턴이나 데이터상 변곡점이 발생했을 때 실시간으로 포착할 수 있는 모듈도 제공하고 있습니다. 또한 긍·부정 패턴 모듈로 부정 문서들을 구별해 모아볼 수 있기 때문에 부정적인 의견이나 그 유형을 빠르게 파악 가능합니다. 이러한 기능들을 활용하시면, 잠재 불만 탐지나 상품 및 서비스의 개선 포인트를 효율적으로 발굴하실 수 있습니다.
🔎소셜 데이터 분석가, 다양한 분야에 대한 관심과 탐구 능력 갖춰야
<수집 커버리지를 바탕으로 다양한 분야의 실시간 트렌드를 분석하는 LUCY 2.0>
Q) AI 개발, 연구에 있어 힘든 점과 그 극복 방법에 대해 알고 싶습니다.
고객사의 다양한 니즈를 소셜 데이터로 해결하기 위한 분석기획, 데이터 정제 작업이 어려운 점 같습니다. 많은 고객사를 접하다 보니, 1,500분이 한 가지씩만 질문해도 저희가 하루에 받는 질문 양이 1,500개가 되거든요. 과거에 학습했던 내용이라면 바로 대응이 가능하지만, 아닐 경우 고민이 필요할 때도 있습니다. 이렇듯 다양한 고객사의 숙제를 함께 고민하고 해결하기 위해서는 고객사의 분야에 대해서도 잘 알아야 하고 소비자의 언어도 파악해야 합니다.
이 때문에 서비스나 제품 제공자와, 그 제품을 구매하는 소비자라는 양쪽의 영역에서 LUCY 2.0을 활용한 접근방안을 찾아나갈 필요가 있는데요. 이런 부분에서 분석 기획적으로 많은 노하우가 필요합니다. 또한 분석의 어려움을 해결하려면 새롭게 발전한 분야 및 다양한 분야에 관심을 두고 온라인 동향 역시 꾸준히 파악하는 노력이 이루어져야 합니다.
또한 파이썬이나 R과 같은 빅데이터 분석 툴을 통해 고객사가 어떤 인사이트를 얻을 수 있는지, 그리고 그 툴을 아예 LUCY 2.0 내에 탑재하는 방향은 어떤 것들이 있을지도 고민하고 있습니다. 하나의 분석 영역이 나오게 되면 저희가 사용해 보고, Lucy 플랫폼에 구현할 수 있는 방법을 연구하는 중입니다.
Q) 그럼 반대로 일하시면서 즐거웠거나 보람 있었던 경험이 있다면 말씀 부탁드립니다.
고객의 어려운 점을 같이 해결했을 때 가장 보람찬 것 같습니다. 예를 들어, 가장 급하게 저희를 찾으시는 경우가 기업과 관련한 부정적인 이슈들에 한시라도 빠른 대응이 필요할 때인데요. 부정적 이슈의 어떤 부분을 중점적으로 빠르게 대응해야 할지 고민하시는 경우가 많으세요. 이런 사례는 아무래도 시간이 촉박하다 보니, 저희가 키워드 세팅부터 가비지 제외까지 고객사와 협업합니다. 최근에는 트위터를 활용해서 시시각각 바뀌는 부정 이슈들을 살피고 새롭게 떠오르는 이슈를 바로 캐치해 그 위주의 해명 자료를 냈던 적이 있는데요. 부정적인 여론과 다른 시각으로 사태를 바라보시는 분들의 의견에 ‘OO 부분은 이해할 수 있는 부분이다’와 같은 댓글이 달리면 소비자가 이해 해주시는 부분에 좀 더 초점을 맞춰서 해명 자료를 만들었습니다. 장기화될 수 있는 상황을 2, 3일 안에 해소할 수 있는 좋은 결과를 냈는데, 이런 경우 고객분들뿐만 아니라 저희도 매우 보람을 느낍니다.
이외에도 LUCY 2.0을 현업에 도입하기 위해 다양한 노력을 기울이다 문의하시는 경우가 많은데요. 저희와 고객사가 함께 고민하며 찾아낸 해답이 고객사 내부에서 의사결정을 위한 하나의 과정으로 정착되어 가는 모습을 볼 때마다 보람과 책임감이 함께 찾아드는 것 같습니다.
Q) AI 업계에서 소셜 데이터 분석가로서의 전문성을 갖추기 위해서는 어떤 역량이 필요할까요?
저희의 경우 대다수 소비자를 타깃으로 소셜 데이터를 분석해야 하는 입장이다 보니, 기본적으로는 마케팅에 대한 기본적인 개념을 갖춰야 합니다. 데이터에서 고객사가 많이 찾을만한 것들을 발굴해 내는 눈도 필요합니다. 더불어 소셜 데이터는 아는 만큼 보이는 분야이기에 사회 전반의 다양한 주제에 대한 지속적인 관심과 탐구 능력이 중요합니다. 그에 더해, R이나 파이썬 등 분석 툴을 활용한 데이터 핸들링 능력까지 갖춘다면 데이터 해석 측면에서 더욱 좋을 것 같습니다.
Q) 평소 AI 기술 트렌드를 파악하거나 공부하시는 데 있어 특별한 노하우가 있을까요?
다양한 고객사와 교류를 하다 보니 누구보다 빠르게 현업에서 요구하는 기술 트렌드를 파악하고 관련 내용을 학습하게 되는 것 같습니다. 그 외로는 커뮤니티나 박람회를 참고해서 기술 동향을 살피기도 합니다. 수많은 기술이 쏟아지고 있지만 그 중 일선에서 고려하는 기술이 정말 트렌디한 기술이라고 생각됩니다. 마케팅 쪽에서는 틱톡, 인스타그램, 유튜브 등 시각적으로 소화하는 콘텐츠 플랫폼들을 중요하게 보기 때문에 이미지 분석에 대한 고민들을 많이 하시는 것 같습니다. 패션 회사의 경우 최근 이미지로 컬러 트렌드를 비롯한 유행을 파악하기도 해서, 저희도 이러한 경향에 맞춰 이미지 분석 쪽에서 플랫폼 내에 도입할 수 있는 기능들을 고민하고 있습니다.
💡새로움이 소셜 데이터 분야의 매력
<장현후 데이터 분석가가 LUCY 2.0을 활용하여 소셜 데이터를 분석하는 모습>
Q) 직무를 꿈꾸신 계기나, 직업을 선택하면서 닮고 싶은 롤모델이 있으셨나요?
전산통계학을 전공하고 처음 선택한 직업이 마케팅 리서치 연구원이었습니다. 구조화된 질문지와 정교하게 추출한 표본을 조사하여 소비자의 현재 생각과 고민거리 등을 분석하고 제언하는 부분이 흥미로워 8년 여간 쉼 없이 달렸던 것 같습니다.
그러다 소셜 데이터라는 분야가 2012년부터 회자되기 시작했는데요. 일부 리서치 프로젝트에서 곁다리로 비정형 소셜 데이터를 다뤄보니 리서치에서 보지 못한 새로운 인사이트를 찾을 수 있다는 점에서 많은 매력을 느꼈습니다. 결국 2015년 소셜 데이터 분석가로 전향했고, 조회나 검색, 카드, 위치, 로그 같은 각종 행동 데이터까지 접하게 되면서 이 분야가 아직도 보고, 융합하고, 분석할 게 많은 영역이라는 생각을 하게 되었습니다. 그래서 현재까지도 흥미를 잃지 않고 일하는 중입니다.
이 직업에 종사하면서 롤모델로 생각하는 특정한 1인은 없지만, 행동 데이터를 분석하여 다음 패턴을 알 수 있도록 알고리즘화해 플랫폼에 탑재하는 데이터 기반의 알고리즘 개발자분들 모두가 존경스럽습니다. 넷플릭스나 아마존에서 고객들의 행동 데이터를 분석하고 추천 알고리즘을 만들어 서비스에 반영한 것처럼, 저희도 소셜 데이터의 활용성 제고를 목표로 사회 전반에 사용될 수 있는 데이터 기반 알고리즘을 찾아내기 위해 끊임없이 살피고, 분석하고, 의미를 부여하며 연구하고 있습니다.
Q) 마지막으로 AI 연구원으로서, 루시플러스팀의 AI 연구가 세상에 가져올 변화와 역할에 대해 말씀 부탁드립니다.
전 세계 인구가 80억 명이고, 한국에만 5,200만 명의 사람들이 살고 있습니다. 그들의 모든 생각과 행동을 한두가지 길로 표현할 수는 없을 것입니다. 이렇듯 존재하는 다양한 생각과 행동을 읽어낼 수 있는 분야가 소셜 데이터라고 생각합니다. 서비스나 제품이 점차 세분화됨에 따라 마케팅 역시 세분화되어가는 만큼, 소비자의 생각과 패턴을 읽기 위한 저희의 연구가 새로운 서비스 기획의 마중물이 되는 날이 왔으면 좋겠습니다.