Inblog
Unternehmensblog starten
Inbound Marketing

A/B-Testing

A/B-Testing ist eine Experimentiertechnik, bei der zwei Versionen (A und B) eines Marketing-Assets, etwa einer Webseite, E-Mail oder Anzeige, gleichzeitig vergleichbaren Nutzergruppen unter identischen Bedingungen gezeigt werden. Anschließend werden wichtige Kennzahlen wie Conversion-Rate und Click-Through-Rate verglichen, um die überlegene Version auf Basis von Daten auszuwählen.

A/B-Testing ist eine Experimentiertechnik, bei der zwei Versionen (A und B) eines Marketing-Assets, etwa einer Webseite, E-Mail oder Anzeige, gleichzeitig vergleichbaren Nutzergruppen unter identischen Bedingungen gezeigt werden. Anschließend werden wichtige Kennzahlen wie Conversion-Rate und Click-Through-Rate verglichen, um die überlegene Version auf Basis von Daten auszuwählen.

Warum es wichtig ist

Intuition und Erfahrung können als Ausgangspunkt für Marketingentscheidungen dienen, doch ohne datenbasierte Validierung der Schlussfolgerungen kommt es oft zu verschwendeten Ausgaben. A/B-Testing eliminiert subjektive Beurteilung, indem es Belege liefert, die auf tatsächlichem Nutzerverhalten beruhen. In einem bekannten Beispiel führte die Obama-Präsidentschaftskampagne 2008 etwa 500 A/B-Tests durch und steigerte damit die Conversion-Rate bei Spenden um 49 Prozent und die Anmelderate für E-Mails um 161 Prozent. Da selbst eine kleine Änderung einen dramatischen Unterschied bei der Conversion-Rate bewirken kann, ist A/B-Testing ein Eckpfeiler der Conversion-Rate-Optimierung (CRO) im Inbound-Marketing.

So gestalten Sie einen A/B-Test

  1. Stellen Sie eine Hypothese auf: Formulieren Sie eine konkrete, messbare Hypothese wie "Die Änderung der CTA-Schaltflächenfarbe von Blau auf Orange erhöht die Click-Through-Rate um mindestens 10 Prozent."
  2. Wählen Sie eine primäre Kennzahl: Wählen Sie eine zentrale Kennzahl, also Conversion-Rate, Click-Through-Rate, Bounce-Rate usw. Mehrere primäre Kennzahlen machen die Ergebnisse mehrdeutig.
  3. Berechnen Sie die Stichprobengröße: Bestimmen Sie vor dem Start des Tests die erforderliche Stichprobengröße. Berechnungen basieren typischerweise auf einem Konfidenzniveau von 95 Prozent, einer statistischen Power von 80 Prozent und dem minimal nachweisbaren Effekt (MDE), den Sie identifizieren möchten. Liegt die aktuelle Conversion-Rate beispielsweise bei 5 Prozent und Sie benötigen 95 Prozent Signifikanz, braucht jede Gruppe etwa 6.900 oder mehr Teilnehmer.
  4. Führen Sie den Test durch: Teilen Sie den Traffic zufällig im Verhältnis 50:50 auf und lassen Sie das Experiment mindestens 2 bis 6 Wochen laufen. Tests, die kürzer als eine Woche sind, berücksichtigen keine wochentagsbedingten Traffic-Schwankungen und sind dadurch weniger zuverlässig.
  5. Analysieren und wenden Sie die Ergebnisse an: Sobald die statistische Signifikanz bestätigt ist (p-Wert < 0,05), rollen Sie die Gewinnerversion für alle Nutzer aus.

Testbare Elemente

  • Überschriften und Texte: Die Änderung einer einzigen Überschrift kann die Click-Through-Rate um über 20 Prozent verschieben.
  • CTA (Call-to-Action): Experimentieren Sie mit Schaltflächentext ("Kostenlose Testversion" vs. "Jetzt loslegen"), Farbe, Position und Größe.
  • Landingpage-Layout: Vergleichen Sie das Vorhandensein oder Fehlen eines Hero-Bildes, die Anzahl der Formularfelder und die Platzierung von Social Proof (Erfahrungsberichte, Logos).
  • E-Mail: Testen Sie Betreffzeilen, Absendernamen, Textlänge und Versandzeiten.
  • Preise und Angebote: Die Darstellungsform von Rabatten (fester Betrag vs. Prozentsatz), Bundle-Konfigurationen und ähnliche Variablen sind allesamt sinnvolle Testkandidaten.

Häufige Fehler

  1. Frühes Hineinschauen: Einen Test vorzeitig zu stoppen, weil frühe Zahlen vielversprechend aussehen, kann zufällige Schwankungen mit einem echten Effekt verwechseln. Befolgen Sie das Prinzip "no peeking" und sehen Sie sich die Ergebnisse mindestens sieben Tage lang nicht an.
  2. Mehrere Variablen gleichzeitig ändern: Wenn Sie Überschrift und CTA gleichzeitig ändern, können Sie nicht feststellen, welches Element den Leistungsunterschied verursacht hat. Ändern Sie immer nur eine Variable. Um mehrere Variablen gleichzeitig zu testen, gestalten Sie einen separaten multivariaten Test.
  3. Unzureichende Stichprobengröße: Einen Test mit zu wenig Traffic durchzuführen, macht es unmöglich, statistische Signifikanz zu erreichen. Verwenden Sie vorab einen Stichprobengrößenrechner, um den erforderlichen Mindest-Traffic vor dem Start zu bestätigen.
  4. Ergebnisse zu stark verallgemeinern: Ergebnisse, die in einer bestimmten Saison oder Aktionsphase erzielt wurden, ganzjährig anzuwenden, kann eine Lücke zwischen erwarteter und tatsächlicher Leistung erzeugen. Stellen Sie stets sicher, dass die Testumgebung mit der Einsatzumgebung übereinstimmt.
  5. Fehler erster Art ignorieren: Ein Signifikanzniveau von 0,05 bedeutet, dass eine Wahrscheinlichkeit von 5 Prozent besteht, dass das Ergebnis dem Zufall geschuldet ist. Wenn Sie 20 Tests durchführen, wird wahrscheinlich einer ein falsch-positives Ergebnis liefern. Validieren Sie bei kritischen Entscheidungen durch Replikation gegen.

Sources: