[AB] 가설 설정 - 두잇

1. 가치있는 가설, 세우는 방법

• 가설은 모든 실험의 핵심

• 가설을 기반으로 실험을 통해 무엇을 학습할지, 어떻게 실험을 진행할 지를 결정한다.

1.1. Hypothesis Tree

• 정보와 근거 자료를 모아서 가설 트리를 활용해서 가설을 세운다.

• 목표 지표를 움직일 수 있는 기회의 영역을 기존 데이터를 바탕으로 구체화한다.

• 해당 구조를 활용하면 머릿속에 가장 먼저 떠오르는 아이디어보다, 문제 해결을 위한 여러 다양한 가능성을 통합적으로 고려할 수 있다.

1.2. XYZ가설

• XYZ가설이란? : Doing XX, ZZ Times in YY Days
🛠
XX : 핵심 가치에 대한 액션 (’우리 서비스의 aha moment는 이거야 라고 일관되게 이야기할 수 있는 정량적으로 정의된 순간’)
YY : 잊어버리기 전의 날짜
ZZ : 최소 횟수 (일반적으로 2~10번 사이의 경험 횟수가 있어야 리텐션이 생김)

• 액션 XX 찾기
• 일반적으로 XYZ가설은 리텐션을 기반해서 도출한다.
• 내부 데이터를 바탕으로 높은 리텐션을 만드는 Input액션 XX를 찾는다. (이 때, 리텐션의 주기는 서비스에 맞게 결정할 것) → ShapValue와 같은 도구를 사용해서 영향도 간 비교도 가능
• (브레인스토밍) 리텐션이 긴 고객과 이탈 고객의 차이를 만들 액션 XX를 팀과 list up해본다.
• 모두의 동의를 얻어 후보군 3~5개를 추리고 실제 데이터셋에서 해당 액션을 경험한 유저와 아닌 유저 사이의 리텐션 차이를 확인한다.

• ZZ 횟수 찾기
• 액션 XX 후보군의 액션의 횟수에 따른 RPV(Retain Probability Value)및 교차값을 구한다.
• 그리고 교차가 최대이면서도, RPV가 95%이상인 액션XX를 찾을 때까지 이 과정을 반복한다.
• RPV = 리테인된 유저가 이 액션을 할 확률
• 교차값 = "액션을 했거나 OR 리테인된 유저" 중 "액션 AND 리테인 된 유저"의 비율

1.3. A/B 테스트 가설 설계

• Check Point : 목표 달성을 위한 A/B 테스트를 계획을 세운다. (RICE 프레임워크)
• Reach 가설을 경험을 고객의 모수가 적정한지 (달성 난이도)
• Impact 가설을 경험한, 경험하지 않은 집단 간의 리텐션 차이가 큰지 → 해당 리텐션 증가로 발생하게 되는 매출 차이는 어느 정도될지 estimate (효과 크기)
• Confidence 실험 결과의 신뢰도 고려 → 통계적 검증과 실험 설계의 적절성을 평가
• Effort 실험을 진행하기 위해 드는 자원, 시간 평가.

• Activation 개선 관점
• 더 많은 유저가 첫 번째 좋은 경험을 하게만들어야 한다!
• Activation을 개선한다는 것 = 더 많은 유저가 더 빨리, 더 쉽게 액션 XX를 경험하게끔 하는 것
• 전환율보다 중요한건 전환까지 이루어지는 기간 : 얼마 만에 다음 퍼널로 넘어가는지, Conversion을 볼 때 기간동안 그런 일이 일어나냐도 같이 봐야 한다. 더 단기간 더 많은 Conversion
• PO라면 전략적으로 아하모먼트를 더 빨리, 더 많이 경험하게 만드는 것이 퍼널 개선의 핵심이다.

2. 두잇 Case

• 두잇의 이번 분기 목표는 최대한 주문 수를 높이는 것
• 월 주문 수 = 월 방문자 수(신규 방문자 수 + 기존 방문자 수 * 방문 리텐션) * 평균 방문→주문 CVR * 월 구매 빈도

• 아하 모먼트 후보
• 앱 접속 후, 1분 이내 주문 완료 (간편한 구매경험)
• 홈화면에서 팀배달을 통한 PDP진입 (많은 고민없이 메뉴결정)
• 10,000원 이내로 음식 주문 (저렴한 가격 경험)
• 결제 → 배달 완료까지 30분 이내 (빠른 배달)

• 데이터 분석 결과(가정)
• 팀 배달을 오픈한 경우보다 팀 배달에 참여한 경우의 방문 리텐션이 10%이상 높았다.
• 홈화면에서 팀 배달에 참여를 누른 사용자의 구매 전환율(PDP→Purchase)이 90%, 결제완료까지의 시간이 평균 1분이다.

• XYZ가설
• 홈화면에서 팀 배달 참여(x)를 월(y) 1회 이상(z) 경험한 두잇 사용자는 Retain 될 것이다.

ChatGPT

https://chat.openai.com/share/cb126a72-d6f7-44fc-aacd-a9b0b514e0d1

• 전환까지의 Time 중요

• Home화면의 구좌들이 실시간으로 생기고 없어짐 → 오픈된 팀배달의 갯수에 따라 할인쿠폰의 사용률의 차이가 크지 않을까.

• CC : #New Daily Customers (보통 weekly단위 집계;광고 제외) / % customers we lost
• what 95% new customer do in common
• what is our churn rate and why do customers churn? (when, why)

• Active User : 95% Visitors가 꼭 하는 행동 repeatable하고 meaningful한 액션

• Churn 정의 : 상식적으로 이 정도 안쓰면 loss될 것 같다로 정의 (ex. 샤잠은 한달에 한번 쓰는 앱 → 3개월을 Churn으로 정의)