Wie lange muss ein A/B-Test laufen?
Die ehrliche Antwort: bis die vorher berechnete Stichprobe erreicht ist, mindestens aber zwei volle Wochen.
Inhalt dieses Artikels
„Wir haben schon nach drei Tagen +18 % gesehen, können wir das ausrollen?“, diese Frage kommt in fast jedem Projekt. Die kurze Antwort lautet: nein. Die lange Antwort erklärt, warum die +18 % nach drei Tagen fast nie echt sind.
Zwei Zahlen bestimmen die Laufzeit
Wie lange ein Test laufen muss, hängt nicht vom Bauchgefühl ab, sondern von zwei Größen: deiner heutigen Conversion-Rate und dem kleinsten Unterschied, den du noch erkennen willst. Je niedriger die Ausgangsrate und je kleiner der gesuchte Unterschied, desto mehr Besucher brauchst du.
Ein Beispiel: Bei 3 % Ausgangs-Conversion und einem gesuchten relativen Unterschied von 10 % brauchst du grob 50.000 Besucher pro Variante. Bei 10 % Ausgangsrate sind es nur noch rund 14.000. Diese Rechnung machst du vor dem Start, nicht, wenn die Zahlen schon aufregend aussehen.
Warum trotzdem mindestens zwei Wochen
Selbst wenn die Stichprobe nach vier Tagen voll ist, solltest du weiterlaufen lassen. Kaufverhalten ist am Montag anders als am Samstag, und wer nur Werktage misst, misst einen Ausschnitt. Zwei volle Wochen decken jeden Wochentag zweimal ab und fangen einen einzelnen Ausreißertag ab.
Umgekehrt gilt: Läuft ein Test länger als vier bis sechs Wochen, wird er anfällig. Cookies verfallen, Besucher wechseln Geräte, Kampagnen ändern die Zusammensetzung des Traffics. Wenn du so lange brauchst, ist die getestete Änderung wahrscheinlich zu klein.
Der teuerste Fehler: früh hinschauen und abbrechen
Wer jeden Tag ins Dashboard schaut und beim ersten grünen Ausschlag stoppt, produziert systematisch Scheingewinner. Der Grund ist simpel: Zufällige Schwankungen sind am Anfang groß. Wenn du oft genug hinschaust, sieht eine Variante irgendwann zufällig gut aus, und genau dann brichst du ab.
Deshalb gilt: Laufzeit und Stichprobe vorher festlegen, dann nicht daran rütteln. Hinschauen darfst du, nur entscheiden nicht.
Wann du einen Test doch abbrechen solltest
- Die Variante ist offensichtlich kaputt. Fehler in der Konsole, Layout zerschossen, Kaufabbrüche.
- Die Traffic-Aufteilung stimmt nicht, etwa 60/40 statt 50/50. Dann stimmt etwas mit der Auslieferung nicht, nicht mit der Idee.
- Eine Leitplanke schlägt aus: Die Variante verbessert das Hauptziel, verschlechtert aber Retouren oder Support-Anfragen deutlich.
- Ein äußeres Ereignis verzerrt alles. Ausfall, Presseartikel, Black Friday mitten im Testzeitraum.
Die Faustregel
Stichprobe vorher berechnen, mindestens zwei volle Wochen laufen lassen, höchstens sechs. Vorher nicht entscheiden, danach ehrlich lesen: Auch „kein Unterschied“ ist ein Ergebnis, es spart dir die Umsetzung einer Idee, die nichts bringt.