4. 실험 세팅
Sample Size Calculator
- 확인하고자하는 지표의 유형에 따라 샘플 사이즈를 구하는 공식이 달라진다.
4.1. 실험 대상
- Free Trial Btn을 누른 사용자들을 대상으로 진행하는 해당 실험의 분기 단위(Unit of Diversion)는 쿠키값으로 설정한다. 실험이 분기되는 시점이 비로그인 상태에서 이루어질 수 있기 때문에, User-id가 적합하지 않다.
4.2. 실험 기간/규모
- 본 실험의 가이드라인은 α=0.05(significance level), β=0.2(2종오류와 관련)을 따른다.
- Sample Size Calculator를 바탕으로 각 지표별 필요한 Sample Size를 구한다. 이 때 필요한 것은 유의수준, 검정력, 베이스라인(기존 수치), MDE이다.
- MDE를 작게 설정하면, 통계적으로 유의미한 효과를 감지하기 위해 필요한 Sample Size가 증가한다. 따라서 MDE를 다음과 같이, 재조정해주도록 하겠습니다.
Type | Metric Name | Metric Formula | Dmin(MDE) | Notation |
불변 지표 | Free Trial 버튼 클릭 수 | # unique daily cookies who clicked | ㅤ | unique |
성공 지표 | 클릭>수업 등록 전환율 | 수업 등록 수(enrolled) / 클릭 수 | 0.01 | CTP |
성공 지표 | 등록>결제 전환율 | 결제 수(extend payment) / 등록 수(enrolled) | 0.01 | CTP |
보조 지표 | 클릭>결제 전환율 | 결제 수(extend payment) / 클릭 수 | 0.01 | CTP |
보조 지표 | 등록완료 페이지 진입 수 | # unique daily cookies on enrollment page | 17.32 | unique |
가드레일 지표 | 결제 수 | # unique daily cookies who extend payment | 11.93 | unique |
- 성공 지표 감지에 필요한 샘플 사이즈
- 클릭>수업 등록 전환율 : (Sample Size) 645,875
- 등록>결제 전환율 : (Sample Size) 4,737,818
- 실험기간 : 일일 수업상세페이지 진입 수는 40,000인 점을 고려할 때 등록>결제 전환율을 측정하기 위한 실험기간은 트래픽 100% 대상으로 실험하더라도 118일이 걸린다. (실험에 소요되는 리소스가 과다함) → 따라서 클릭>수업 등록 전환율을 기준으로 샘플 사이즈를 고정하고, 베이지안 확률을 바탕으로 결과를 추정하기로 한다.
- 실험변수 + 사용자 군/변수 값
- Free Trial 모달창의 팝업 여부와 input값에 따른 다른 flow
- 실험군 : show 모달창
- 대조군 : 기존 flow
5. 실험 결과
5.1. 온전성 검사(Sanity Check)
- Invariant 지표인 클릭 수가 실험 중에도 실제로 두 그룹 사이에서 invaraint했는지를 확인한다.
- Count : binomial test 수행한다.
- Proportion : 합동확률을 이용해 합동표준오차 및 신뢰구간을 계산하고, 그룹간 확률차이가 해당 신뢰구간 내에 있는지를 확인하도록 한다.
5.2. 효과 크기
Evaluation 지표는 통계적으로 유의한 변화 뿐만 아니라, 실질적으로(비즈니스 측면의 최소 유의 경계) 변화가 반드시 있어야 한다.
- 그룹 간 Evaluation 지표 차이 확인
- 해당 차이에 대한 신뢰구간 계산
- 계산된 신뢰구간이 통계적, 실질적으로 유의한지 확인
- 신뢰구간이 0을 포함하지 않는다면 통계적으로 유의함.(즉, 변화가 있다고 확신할 수 있음)
- 신뢰구간이 실질유의경계를 포함하지 않는다면 실질적으로 유의함(즉, 비즈니스 측면에서도 변화가 있다고 확신할 수 있음)
- 클릭>수업 등록 전환율 : Exp -2.06 %, 통계적으로도 실질적으로도 유의미하다.
- 등록>결제 전환율 : Exp -0.49 %, 통계적으로도 실질적으로도 유의미하지 않다.
- 등록완료 페이지 진입 수 : Exp -9.56 % , 통계적으로는 유의미하나 실직저으로 유의미하지않다.
- 결제 수 : Exp -4.32 %, 통계적으로도 실질적으로도 유의미하지 않다.
5.3. 실험 평가 및 next iteration
- 본 실험의 가설은
팝업 모달을 띄울 때, 학생들에게 더 명확한 기대치를 제공할 수 있다. 수업 수강에 충분한 시간을 할애할 수 있는 학생(주당 5시간 이상)위주로 결제페이지 유도 시, 수업등록 전환율과 결제 전환율이 증가할 것이다.
- 그러나 실제로 클릭>수업 등록 전환율은 떨어졌고, 등록>결제 전환율도 유의미한 증가를 보여주지 못했기 때문에 해당 실험은 rollback해야한다.
해당 실험은 설계 단계가 아쉽다.
- 수강 완료율을 높이고 싶었다면, 수강신청 퍼널이 아니라 수강 신청 후 퍼널을 개선했어야 했다. 진도율 상승을 위한 적극적인 넛지를 넣고 실제로 해당 가설이 유효한지를 검증해볼 수 있다. (Push Message, 스터디 관리등 추가 프로그램)
- 시간이 부족하여 무료 평가판을 떠난 좌절한 숫자를 줄이고 싶었다면 무료체험 종료 후, 결제 취소를 하는 단계에서 추가 연장이나 가격할인과 같은 넛지를 넣어볼 수 있다.
My Next Step →
추가로 참고한 자료
Share article