이상치 탐지(Anomaly Detection)란?
리텐틱스를 통해 고객 잔존에서의 이상 변화를 미리 확인하고 고객 이탈을 미리 대처해보세요!
Dec 13, 2022
이상치 탐지(Anomaly Detection)란 무엇인가요?
이상치 탐지는 풀이 그대로 지금까지 보지 못한 패턴을 찾은 행동을 의미해요. 이상치 탐지는 금융, 제조업, 의료 등 다양한 분야에서 사용될 수 있는데, 리텐틱스는 고객 잔존에서의 이상치를 탐지하고 유저에게 알림을 주는 기능을 제공하고 있어요.
이상치 탐지는 학습 데이터 및 label 유무에 따라 3가지 종류가 있어요.1. Supervised Anomaly Detection (정상 sample, 비정상 sample, label 이 모두 존재하는 경우)2. Semi-Supervised Anomaly Detection (정상 sample 과 label 만 존재하는 경우)3. Unsupervised Anomaly Detection (데이터가 정상이라는 가정하에 label 없이 모델을 학습하는 경우)
그 중 리텐틱스는 이상치에 대한 label이 없기 때문에 Unsupervised Anomaly Detection에 해당하는 Autoencoder를 사용하여 지난 달 고객 잔존 관련 지표의 이상치를 탐지하고 있어요.
Autoencoder란 무엇인가요?
간단히 설명하자면 Autoencoder는 입력을 출력으로 복사하는 인공신경망이에요. 입력 데이터를 압축시키고 다시 확장하여 입력 데이터와 출력 데이터가 동일하게 만드는 작업을 수행해요. Autoencoder는 train set 으로 학습하는 과정에서 재구성 손실(Reconstruction loss)을 계산해요. 여기서 재구성 손실은 입력과 출력의 차이를 뜻해요. 학습을 하며 모은 입력과 출력의 차이값의 분포를 확인하고 이를 이용하여 임곗값을 설정하고, 실제 test set으로 예측을 하고 재구성 손실을 계산해요. 만약 test set에서의 재구성 손실이 임곗값보다 작다면 지금까지 보았던 패턴과 유사하다 추정할 수 있어요. 하지만 test set에서의 재구성 손실이 임곗값보다 크다면 지금까지 보지 못한 패턴이므로 이상치라고 판단할 수 있어요.
Autoencoder를 사용하는 이유는 무엇인가요?
고객사 별로 특정 값을 임곗값으로 지정하고 변화량이 그 임곗값을 초과하였을 때 이상치라 판단하는 규칙기반 이상치 탐지를 사용하면 되지 않는가라는 질문을 할 수 있어요. 모델을 학습시킬 필요도 없고 간단한 계산을 통해 빠른 시간 내에 수많은 조합을 확인하고 이상치라 판단되는 값을 찾을 수 있기 때문이죠. 하지만 고객사 또는 산업별로, 그 안에서도 유입 채널 혹은 지역 별로 각기 다른 특성을 가지고 있을 텐데 하나의 값을 기준으로 이상치를 판단하기에는 대표성이 부족해요. 그에 반해 Autoencoder는 하나의 임곗값에 구애받지 않고 조합별로 다른 임곗값을 찾아 이상치를 탐지해요. 따라서 리텐틱스는 조합별로 다른 임곗값을 적용시키기 위해 Autoencoder를 사용하고 있어요.
리텐틱스의 이상치 탐지 활용법
위에서 설명드린 것처럼 리텐틱스는 Autoencoder를 사용하여 고객 잔존 관련 지표의 이상치를 탐지해요. 수많은 조합에 대한 값들을 하나하나 확인할 필요 없이 Autoencoder가 기존 패턴과 다른 패턴을 보이는 추이를 감지하여 유저에게 알림을 드려요. 예를 들어, 이번 달 이탈한 고객의 수가 이상치라 탐지된다면 지난달 대비 몇 % 가 증가 혹은 감소하였는지 알림을 드려요. 또한 증가와 감소에 따라 Good News 혹은 Bad News로 구분하여 볼 수 있어요. 이를 통해 유저들은 이상치의 원인을 분석하거나 적절한 대응을 할 수 있는 거예요. 또한 유저에게 각 알림이 유용했는지에 대한 정보를 받아 다음 번 이상치 탐지에는 고객의 의견을 반영한 결과를 받을 수 있게 구성했어요.
글: 임상우
Share article
Subscribe to our newsletter