[AB] 실험 설계 1-Pager (두잇 Case)

1-Pager <팀오픈 프로모션>

1. Problem Statement

1.1. Problem

• 두잇의 이번 분기 목표는 주문 수를 최대화하는 것. (지난달의 주문 건 수는 13.6만; 분기 100% 성장을 위해서는 주문 수 최소 26% 성장이 필요함)

• 두잇은 배달앱 후발주자로 타사 대비 SKU가 적다. 즉, 탐색이 아닌 홈화면에서 PDP로 진입을 유도하는 것이 구매전환에 유리하다.

• 두잇 Growth팀에서는 많은 고민없이 메뉴를 결정이라는 두잇의 Value Proposition을 반영하는 <홈화면 팀배달 → PDP진입> Action을 아하모먼트로 가정하고, 해당 지표를 상승시켰을 때, 실제로 주문 수가 유의미하게 증가하는지 확인하고자 한다.

• 기존 데이터 분석
• 홈화면에서 팀배달을 통한 사용자의 구매전환율(PDP→Purchase)과 주문까지 시간(Conversion Time)이 팀오픈을 통한 지표보다 N% 높다는 것을 발견했다.
• 홈화면에서 팀배달 구좌는 팀오픈~팀마감까지 최대 10분간 열려있는데, 평균적으로 peak time에는 음식점이 X개 이상 열려있으나 off-peak에는 평균 Y개 이하의 음식점이 열려있다. → 즉, off-peak에 접속한 유저들은 아하모먼트(홈화면을 통한 팀배달 조인)을 경험하기 어렵다.

1.2. Customer & Customer Job

• Immediate Customer
• 두잇의 사용자는 메뉴에 대한 특별한 선호는 없지만, 최소한의 금액으로 끼니를 해결하고 싶다. 팀 배달 옵션을 통해 메뉴 선택을 쉽게 하고, 추가적인 할인 혜택을 받기를 원한다.
• 두잇앱의 홈화면에 진입하여 팀배달 구좌를 탐색하는 사용자

• Customer Job we are Failing
• When: 사용자가 두잇 앱의 홈화면에 접속했을 때,
• I want to: 다양한 팀 배달 항목을 탐색하고, 마음에 드는 메뉴를 선택~주문하고 싶다.
• So I can: 메뉴 탐색의 시간을 절약하면서, 추가 할인 혜택을 받아 끼니 문제를 해결한다.

• 5Whys
• 팀배달 옵션이 제한적인 이유? : 팀배달을 오픈한 사용자가 적기 때문 (특히 off-peak타임)
• 팀배달 오픈이 적은 이유? : 팀배달을 오픈하는 CVR이 적거나 해당 시간대의 활성 사용자 수가 적기 때문
• 팀배달 오픈하는 CVR이 적은 이유? : 팀배달 오픈에 대한 혜택이 없기 때문, 혜택이 없더라도 구매할 만큼 강한 동기가 없기 때문
• 팀배달 오픈에 대한 강한 동기가 없는 이유? : 두잇에서 제공하는 혜택은 팀 참여에만 적용되기 때문
• 활성 사용자 수가 적은 이유? : 해당 시간대에는 주문에 대한 니즈가 적기 때문

2. Hypothesis

• 두잇의 아하모먼트 <홈화면 팀배달 → PDP진입>를 경험한 사용자는 리텐션이 높아질 것이다.

• 즉 해당 지표를 상승시, 사용자당 주문수(Purchase Freq)가 증가 → 분기 목표인 월 주문 수 상승에 기여할 수 있다.

2.1. Acceptance Criteria

• 아하모먼트를 최대한 많은 사용자가 빠르게 경험하게 만들기 위해서, 팀오픈 프로모션 진행을 통해 팀배달 구좌가 최소 5개 이상 all-time 노출되도록 한다. 이를 위해 팀오픈 프로모션은 항상 5개로 유지한다.

3. Metric

• 목표 KPI인 월 주문건 수 17.1만을 달성하기 위해 두잇이 실험을 만들어야하는 지표의 MDE를 설정했습니다.

4. A/B Test Planning

4.1. 실험 대상

• 홈화면 진입한 두잇 유저

• 사용자 경험의 일관성과 단기간 내 효과측정을 위한 세션 단위로 사용자 분기를 진행한다

4.2. 실험 규모, 실험 기간

• Sample Size Calculator(검정력 80%, 유의수준 5%)로 필요한 샘플 사이즈를 구합니다. Purchase CVR → 1,587(/variation) / Team Open CVR → 1,245(/variation)

• 두잇의 DAU를 3만으로 가정했을 때, 전체 트레픽 10% 일주일간 진행시 충분할 것 같네요!

4.3. 실험 UI (대조군/실험군)

4.4. Andon

• 다음과 같은 프레임워크로 지표의 변동성을 확인하고 의사결정을 진행합니다.

• p-hacking을 방지하기 위해, 가드레일 지표의 큰 변동성이 없다면 최소 7일간 실험결과를 지켜봅니다.

5. Result

5.1. Metric

• Sanity Check : a, b군이 균등하게 잘 분배되었는지 확인

• 통계적 검정
• 일반적으로 비율지표는 t-test로 진행
• 시간지표는 비정규 분포를 따르는게 일반적이라 Mann-Whitney U 검정으로 진행

• 추가 실험 분석 (skip)

5.2. 통계적 해석

• 모든 지표가 p-value 0.05이하로 통계적으로 유의미했다

• Purchase CVR의 개선율(2.52%)는 MDE(3.6%)보다 적었다

• Team Open CVR의 개선율(2.5%)는 MDE(2%)보다 컸다

• → 실제 비즈니스 성과로 이어지기엔 불확실한 면이 있으나, B로 전체 출시하고 이후 상황을 모니터링한다.

5.3. Lesson Learned

• 팀오픈 프로모션은 구매전환율과 팀오픈 전환율의 상승에 기여한다.

• 다만, 해당 Product Feature로는 비즈니스 목표인 총 주문 건수 24%향상에는 유의미한 영향을 미칠만큼의 상승률을 만들기 어렵다.

• Peak, Off-Peak에 따라 홈화면에 노출되는 팀배달 음식점 현황과 갯수가 달라질 수 있기 때문에 관련 사후 분석이 필요하다.

• Next Action - 팀오픈 프로모션 고도화
• 음식점 추천 리스팅 알고리즘을 변경해본다 (미들 타임에는 주식보다 디저트류를 추천?)
• 팀 오픈 구좌의 UI 변경 (time limit을 걸어둔다)