고객센터 상담 지식 추천 서비스 Rag 기반 LLM 적용 사례- ASA(Ask Super AI)
ASA(Ask Super AI)의 도입배경
기존에도 상담 지식 추천 서비스가 있었지만, 지식 추천 정확도가 떨어지고, 지식 관리자가 지식을 구조화하는 데 많은 시간이 소요되었습니다. 이를 개선하기 위해 생성형 AI LLM과 KT 상담 지식 데이터를 융합한 ASA(Ask Super AI)를 구축하였습니다.
ASA는 기존 온프레미스 서비스와 AWS 환경에서 RAG 기반 LLM 아키텍처를 활용하여 하이브리드 형태로 구축되었습니다. 이를 통해 더 이상 수작업으로 지식을 구조화할 필요 없이 사용자에게 정확한 지식 기반 답변을 생성하고 제공할 수 있게 되었습니다.
ASA(Ask Super AI) 는 어떻게 구축되었을까요?
RAG 기반 LLM 아키텍처를 이해하기 위해서는 다음 5가지 키워드에 대해 설명할 필요가 있습니다.
RAG (Retrieval-Augmented Generation):
"검색 증강 생성"의 약자로, 정보 검색을 통해 그 데이터를 바탕으로 새로운 내용을 생성하는 기술입니다.
예를 들어, 특정 문제에 대해 답을 해야 할 때, 책에서 정보를 찾아 그 정보를 활용해 문제를 해결하는 기술이라고 할 수 있습니다.Embedding:
단어나 문장을 컴퓨터가 이해할 수 있도록 벡터화(숫자화)하는 기술입니다.
이를 통해 컴퓨터는 단어들의 의미나 관계를 더 잘 이해하고 처리할 수 있습니다.
VectorDB:
일반적인 데이터베이스(DB)처럼 데이터를 저장하고 검색할 수 있지만,
텍스트 대신 벡터 값을 저장하는 차이점이 있습니다. VectorDB를 사용하면 유사한 데이터를 빠르게 검색할 수 있습니다.
Retriever:
정보 검색을 담당하는 검색엔진입니다. 사용자 질의를 이해하고
사전에 저장된 VectorDB에서 유사한 정보를 검색하여 가장 관련성이 높은 정보를 사용자에게 제공합니다.
LLM (Large Language Model):
대량의 텍스트 데이터를 학습하여 사람처럼 자연어를 이해하고 생성할 수 있는 AI 모델입니다.
주로 QnA, 요약, 번역, 생성, 문법 수정 등의 기능으로 사용됩니다.
위 키워드를 조합하여 RAG 기반 LLM 아키텍처를 한 문장으로 설명하면 "LLM이 VectorDB에서 검색(Retrieve)된 지식과 사용자 질의를 활용하여 지식을 토대로 답변을 생성하는 아키텍처" 라고 할 수 있습니다.
RAG Based LLM 아키텍쳐에 대해 알아봤으니, ASA(Ask Super AI)는 어떻게 구축되었는지 알아보겠습니다.
기존 온프레미스 사내 시스템 서버와 AWS 랜딩존에 구축한 아키텍쳐를 혼합한 하이브리드 구조입니다. AWS 주요 사용 서비스로는 Application의 서버를 담당하는 "EC2", 검색엔진과 VectorDB의 역할을 하는 "Opensearch" 마지막으로 생성형AI LLM을 호출할 "Bedrock" 서버리스 서비스를 활용하였습니다.
주요 서비스 흐름별로 살펴보겠습니다.
첫번째로, 초록색 화살표는 사내 KT 지식을 AWS의 Opensearch 서비스를 활용하여 Embedding 및 VectorDB에 저장하는 과정입니다. 초기에는 약 7,000여 건의 지식을 목차별로 분할하여 VectorDB에 저장하였고, 이후 신규 및 수정된 지식에 대해 배치를 통해 자동으로 인덱싱 및 업데이트가 이루어집니다.
두번째로, 주황색 화살표는 고객센터 상담사는 질의를 하기 위해 Web Socket으로 연결됩니다. AWS KT 랜딩존이 구축되어 사내 시스템 서버와 AWS의 EC2 및 Web Socket 연동이 가능합니다.
마지막으로, 파란색 화살표는 사용자 질의에 따른 RAG 기반 LLM 답변까지의 과정입니다. 중앙 Application이 포함된 EC2를 통해 처리가 되며 아래 단계로 처리됩니다.
1) Web Socket을 통한 상담사 질의에 대해 Opensearch를 통해 유사한 지식을 검색 및 제공
2) 검색된 지식 내용, 시스템 프롬프트, 사용자 질의를 모두 더해 AWS Bedrock의 Claude LLM에 질의
3) 최종적으로 상담사에게 Streaming 방식으로 실시간 답변 제공됩니다.
ASA(Ask Super AI) 적용을 통한 기대효과
ASA 적용을 통한 기대효과는 어떤것들이 있을까요?
효율성과 정확성의 향상
ASA(Ask Super AI) 시스템의 도입은 고객센터 상담사들에게 큰 지원을 제공하여 업무 효율성을 높이고, 고객에게 일관되고 정확한 정보를 전달하는 데 큰 역할을 합니다. 이를 통해 KT는 더욱 높은 고객 만족도를 달성할 수 있을 것입니다.
미래지향적인 고객 서비스
생성형 AI LLM과 RAG 기반 아키텍처가 결합된 ASA 시스템은 고객 서비스의 새로운 표준을 제시합니다. 더 이상 수작업으로 지식을 구조화할 필요 없이 자동화된 과정을 통해 정확하고 신속한 응대가 가능해져, 고객센터의 미래를 밝게 할 것입니다.기술과 인력의 융합
ASA(Ask Super AI) 시스템은 최신 AI 기술과 상담 지식을 융합하여 상담사들이 고객들에게 최상의 서비스를 제공합니다.
인간의 경험과 AI의 정확성이 만난 ASA 시스템은 KT의 고객센터를 혁신하는 중요한 한걸음이 될 것입니다. 이러한 기대 효과들이 미래에 더욱더 큰 고객 가치를 불러일으킬 것이라고 기대합니다 😊
마치며
ASA(Ask Super AI)를 서비스를 오픈하면서 가장 어려웠던 부분은 답변 정확도를 개선하는 것이었습니다. 그러나 상담 컨설턴트분들의 다양한 테스트 및 LLM 답변 평가와 개발자들의 서비스 개선을 여러 차례 반복하여 답변 만족도와 정확도를 향상시킬 수 있었고, 최종적으로 상담사분들도 만족하는 결과를 얻을 수 있었습니다.
더 나아가 전국의 KT 고객센터, 대리점, 그룹사 모두가 ASA를 사용하는 그날까지 계속 달려가겠습니다.
긴 글 읽어 주셔서 감사합니다. 😊