A/Bテストとは? | インバウンドマーケティング用語集

A/Bテストとは、Webページ、メール、広告などのマーケティング素材の2つのバージョン(AとB)を、同一の条件下で同等のユーザーグループに同時に表示する実験手法です。その後、コンバージョン率やクリック率といった主要指標を比較し、データに基づいて優れたバージョンを選択します。

なぜ重要なのか

直感や経験はマーケティングの意思決定の出発点にはなり得ますが、結論をデータで検証しないと、しばしば無駄な支出につながります。A/Bテストは、実際のユーザー行動に根ざした証拠を提供することで、主観的な判断を排除します。よく知られた例として、2008年のオバマ大統領選挙キャンペーンでは約500回のA/Bテストを実施し、寄付のコンバージョン率を49%、メール登録率を161%向上させました。わずかな変更でもコンバージョン率に劇的な差をもたらし得るため、A/Bテストはインバウンドマーケティングにおけるコンバージョン率最適化(CRO)の要となっています。

A/Bテストの設計方法

仮説を立てる: 「CTAボタンの色を青からオレンジに変更すると、クリック率が少なくとも10%向上する」といった、具体的で計測可能な仮説を立てます。
主要指標を選ぶ: コンバージョン率、クリック率、直帰率など、1つの主要指標を選びます。複数の主要指標を用いると、結果が曖昧になります。
サンプルサイズを計算する: テストを開始する前に、必要なサンプルサイズを決定します。計算は通常、信頼水準95%、検出力80%、そして検出したい最小検出可能効果(MDE)に基づいて行います。例えば、現在のコンバージョン率が5%で、95%の有意性が必要な場合、各グループにおよそ6,900人以上の参加者が必要です。
テストを実施する: トラフィックを50:50でランダムに分割し、少なくとも2〜6週間実験を行います。1週間未満のテストは、曜日によるトラフィックの変動を考慮できず、信頼性が低下します。
結果を分析して適用する: 統計的有意性が確認されたら(p値 < 0.05)、勝利したバージョンを全ユーザーに展開します。

テスト可能な要素

見出しとコピー: 見出しを1つ変えるだけで、クリック率が20%以上変動することがあります。
CTA(Call-to-Action): ボタンのテキスト(「無料トライアル」と「今すぐ始める」)、色、位置、サイズを試します。
ランディングページのレイアウト: ヒーロー画像の有無、フォーム項目の数、社会的証明(お客様の声、ロゴ)の配置を比較します。
メール: 件名、差出人名、本文の長さ、送信時間をテストします。
価格とオファー: 割引の提示形式(定額と割合)、バンドルの構成など、すべて意味のあるテスト候補です。

よくある間違い

早すぎる確認(early peeking): 初期の数値が有望に見えるからといってテストを早期に中止すると、ランダムな変動を本物の効果と取り違える可能性があります。「覗かない(no peeking)」原則に従い、少なくとも7日間は結果を確認しないようにしましょう。
一度に複数の変数を変える: 見出しとCTAを同時に変更すると、どの要素がパフォーマンスの差を生んだのか判断できません。変更する変数は一度に1つだけにしましょう。複数の変数を同時にテストするには、別途、多変量テストを設計します。
サンプルサイズの不足: トラフィックが少なすぎる状態でテストを実施すると、統計的有意性を達成することが不可能になります。開始前にサンプルサイズ計算ツールを使い、必要な最小トラフィックを確認しましょう。
結果の過度な一般化: 特定の季節やプロモーション期間中に得られた結果を1年を通じて適用すると、期待と実際のパフォーマンスとの間にギャップが生じることがあります。テスト環境が展開環境と一致していることを必ず確認しましょう。
第一種の過誤(Type I error)を無視する: 有意水準0.05とは、結果が偶然による確率が5%あることを意味します。20回テストを実施すれば、1回は偽陽性が出る可能性が高いのです。重要な意思決定では、再現を通じてクロスバリデーションを行いましょう。

Sources: