Tun Sie es nicht: 11 Fehler bei A/B Tests!

Manche Fehler bei A/B Tests erkennt man erst einmal gar nicht, was bisweilen ganz besonders tückisch ist. Man denkt vielleicht, man habe beim Testen ein brauchbares Ergebnis erzielt, auf dem man große E-Commerce Erfolge aufbauen kann, und merkt erst hinterher, dass das Testergebnis nicht wirklich aussagekräftig ist. Dann hat man Geld und Zeit verschwendet, weil erwartete Erfolge ausbleiben. Um solch eine Verschwendung zu verhindern, sollte man typische Fehler bei A/B Tests kennen und vermeiden. 11 solcher Fehler möchten wir Ihnen deshalb hier vorstellen.

Reden wir erst einmal nicht über A/B Tests. Reden wir über einen Hammer. OK? OK! Wenn Sie einen Hammer nutzen und schlagen sich mit ihm versehentlich auf den Daumen: Taugt dann der Hammer nichts? Das lässt sich sicherlich kaum aus Ihrem Malheur schließen, oder? Der Hammer ist das Instrument und Sie sind derjenige, der das Instrument in diesem Fall nicht richtig benutzt hat. Also… taugen Sie nichts. Scherz. Wahr ist: Der Fehler liegt hier bei Ihnen und nicht beim Instrument. Sollten Sie das Instrument wegwerfen? Dafür besteht kein Anlass.

Ahnen Sie bereits, welchen Bogen wir schlagen möchten? Schlagen wir ihn! Testing-Tools für A/B Tests sind ebenfalls Instrumente und man kann sie richtig oder weniger richtig nutzen. Das Gute bei fehlerhafter Nutzung eines Testing-Tools: Im Vergleich zum Hammer verursachen Fehler keine physischen Schmerzen. Das Gute ist aber vielleicht auch etwas Schlechtes, denn Fehler bei der Nutzung von Testing-Tools bemerkt man vielleicht erst einmal gar nicht. Man bekommt irgendein Ergebnis, ist zufrieden und registriert erst nach einer ganzen Weile, dass die im Test erreichte Steigerung der Conversion-Rate vielleicht dauerhaft gar nicht mehr Conversions und Umsätze bringt.

Machen Sie dann nicht das Instrument verantwortlich; oft liegt es NICHT am Testing-Tool. Der Nutzer hat einen Fehler gemacht. Und da fehlerhaftes A/B Testing Zeit und Geld verschwendet, sollte er im Vorfeld versuchen, Fehler möglichst zu vermeiden. Damit das gelingt, präsentieren wir Ihnen jetzt elf besonders häufig vorkommende Fehler, damit Sie wissen, wie gute A/B Tests NICHT funktionieren, um so indirekt zu erfahren, wie sie DOCH funktionieren. Klar soweit? Fangen wir an. Fertig? Los!

1.) Sie beenden den Test viel zu früh

Sind Sie auch manchmal so ungeduldig? Dann sollten Sie sich unbedingt in Geduld üben. Bei A/B Tests wird Ungeduld nämlich schnell zum großen Problem. Ist ein Testergebnis nicht in ausreichendem Maße statistisch signifikant, ist es nämlich unbrauchbar. Aber ab wann ist ausreichend wirklich ausreichend? Bei 50-prozentiger statistischer Signifikanz? Wohl kaum. Das entspricht in etwa der Wahrscheinlichkeit eines Münzwurfs. 75%? Nein. 90%? 90% sind ganz schön viel. Nein. Das ist nicht genug.

Erst ab einer 95-prozentigen statistischen Signifikanz sollten Sie damit beginnen, ein Testergebnis für brauchbar zu halten. Erklären Sie also bei einem A/B Test nicht vorschnell A oder B zum Sieger. Sie benötigen eine ausreichende Zahl an Test-Teilnehmern und Conversions für ein brauchbares Ergebnis. Und hier müssen wir vielleicht doch auch etwas Kritik Testing-Instrumenten üben, die Testergebnisse bisweilen bereits bei einer eigentlich zu geringen Zahl an Website-Besuchern als brauchbar bezeichnen. Optimizely gibt beispielsweise 100 als ausreichend an und auch VWO hat in der Standardversion ein zu geringes Test-Sample. Man sollte allerdings deutlich mehr Besucher in einem Test haben, damit etwas Brauchbares beim Test herauskommt.

Wer einen Test zu kurz laufen lässt, riskiert, dass die falsche Variante zum Testsieger erklärt wird. So kann sich die Conversion-Rate in einem A/B Test beispielsweise bei der Testversion B im Vergleich zur Originalversion nach zwei Tagen und nur knapp über 100 Testteilnehmern um 89,50% verschlechtern. Dann teilt einem das Test-Tool vielleicht mit, dass die Chance der Testversion, das Original noch zu schlagen, bei 0% liegt. Test abbrechen? Tun Sie es nicht. Das Ergebnis ist nicht aussagekräftig und es kann durchaus sein, dass sich das Ergebnis noch dreht, so wie in unserem Beispiel, in dem die Testversion nach zehn Tagen eine um 25,18% bessere Conversion-Rate hat als das Original.

Fazit: Im Allgemeinen sollte man warten, bis JEDE der beiden Varianten im Test (A und B) eine nennenswerte Zahl von Conversions aufzuweisen haben; bei Seiten mit hohem Traffic sollte die Zahl natürlich auch ruhig noch etwas höher sein. Ergibt sich dann keine signifikant höhere Conversion-Rate für A oder B, kann man davon ausgehen, dass die Variation keinen Einfluss auf die Conversion-Rate hat.

(Sie wollen genaue Zahlen zur Anwazhl Besucher und Conversions? Das ist leider gar nicht so einfach und jede Faustregel ist irgendwie falsch. Man muss sich das immer im Einzelfall angucken. Aber: Unter 1.000 Bersuchern und 100 Conversions pro Variante würde ich nicht auch nur ansatzweise daran denken, den Ergebnissen zu trauen.)

2.) Sie starten Montag und Mittwoch ist Schluss!

Damit Sie bei Ihrem A/B Test ein wirklich brauchbares Ergebnis erhalten, sollten Sie auch dafür sorgen, dass Ihr Test mindestens eine Woche oder mehrere komplette Wochen lang dauert, selbst wenn Sie vielleicht bereits nach drei Tagen eine ausreichende Zahl an Besuchern und Conversions für ein statistisch signifikantes Ergebnis haben. Führen Sie den Test dennoch fort, bis Sie die Woche voll ist, weil sich beispielsweise die durchschnittliche Anzahl der Käufe sowie demografische Daten des typischen Käufers an unterschiedlichen Wochentagen unterscheiden.

Nehmen wir an, Ihr A/B Test läuft von Montag bis Mittwoch. Dann wird beim Test nicht berücksichtigt, dass das typische Einkaufsverhalten am Wochenende eventuell völlig anders ist und dass der typische Wochenend-Käufer ebenfalls ein anderer ist als derjenige, der Montag bis Mittwoch einkauft. Um ein wirklich gutes Bild davon zu bekommen, wie Original- und Testversion bei Conversion-Rate und Umsatz abschneiden, reichen drei Tage daher nicht. Etwas vorsichtig sollte man auch sein, wenn die Testphase in eine besondere Zeit im Jahr fällt, beispielsweise in die Vorweihnachtszeit. In solchen Zeit läuft alles ein bisschen anders als zu anderen Zeiten. Führt man in solchen speziellen Zeiten Tests durch, sollte man sie zu einer anderen (normaleren) Zeit wiederholen.

3.) Sie nutzen A/B Tests, wenn es sich nicht lohnt

Sie besitzen einen kleinen Onlineshop mit einer Handvoll Conversions pro Monat: Wie lange würde es dann wohl dauern, bis Sie bei einem A/B Test ein statistisch signifikantes Ergebnis erhalten? Knappe Antwort: Es würde zu lange dauern. Bei Onlineshops mit geringen Besucher- und Conversion-Zahlen lohnen sich A/B Tests deshalb fast nie. Verändern Sie Ihren Shop in solchen Fällen, ohne vorab zu testen. Beobachten Sie, wie sich Verkaufszahlen und Umsätze entwickeln und dann freuen Sie sich einfach oder, insbesondere natürlich bei einem Rückgang der Zahlen, sorgen Sie für weitere Veränderungen.

4.) Sie testen ohne Hypothese

Manche Menschen gehen recht spielerisch an einen A/B Test heran. Sie verändern hier oder dort etwas an Ihrem Onlineshop, testen und schauen, ob das Original oder die veränderte Version gewinnt. Und wenn die Veränderung gewinnt, wird die Veränderung übernommen. Punkt. Wie schön. Aber was bringt das? Solche Tests sind ein bisschen wie Stochern im Nebel oder wie ein Glücksspiel. Effizientes Testing funktioniert anders. Es basiert auf Hypothesen, welche Veränderungen welchen Einfluss auf Käufer und/oder Besucher haben könnten. Solche Hypothesen sollten natürlich nicht völlig aus der Luft gegriffen, sondern begründet sein. Tests stützen sie dann oder falsifizieren sie und sorgen in jedem Fall dafür, dass man mehr über seine Kunden und ihr Verhalten lernt. Bestenfalls hat man bereits Ideen, welche Folgetests nach diesem oder jenem Testergebnis sinnvoll sind, um aus gewonnenem Wissen mehr gewonnenes Wissen zu machen.

5.) Sie lassen die Webanalyse außen vor

Sie organisieren einen A/B Test für eine Landing-Page, die Besucher nach einem Klick auf die in Ihren Onlineshop integrierte Werbung für eine Sonderaktion empfängt, und B bringt eine um 5% höhere Conversion-Rate. Alles ist klar: „B“ ist Sieger und wird fortan allen Kunden präsentiert. „A“ kommt in die Tonne. Richtig? Nein. Wenn Sie das für Ihren Shop optimale Ergebnis haben möchten, sollten Sie sich auch Ergebnisse für Segmente ansehen. Vielleicht siegt Version „B“ ja allgemein und bringt auch bei Bestandskunden die höhere Conversion-Rate, aber Neukunden konvertieren häufiger bei „A“. Dann sollte man Neukunden vielleicht eine andere Landing-Page präsentieren als Bestandskunden.

Der Blick auf Segmente bringt oft Ergebnisse, die wertvoller als der ausschließliche Blick aufs Gesamtergebnis sind, und Ihr Webanalyse-Tool ermöglicht einen intensiveren Blick auf Segmente als Testing-Tools. Deshalb ist es gut, Testdaten aus dem Testing-Programm heraus zu Google Analytics zu senden. Das ist meist ganz einfach möglich, man muss oft nur die passende Option dafür anklicken. Letztlich gilt: Wenn irgendwie möglich, sollte man die Webanalyse nicht außen vor lassen.

6.) Sie vergeuden Zeit mit sinnlosen Tests

Da hat jemand einen A/B Test mit einem roten und einem grünen Button durchgeführt und präsentiert nun das Ergebnis: Rot ist besser. Und nun testen Sie auch, ob rote, gelbe, grüne… Buttons die bessere Conversion-Rate ergeben. Tun Sie es nicht. Jedenfalls nicht so. Beim Einfluss von Farben geht es immer um Farbschemata, um Beziehungen von Farben und Farbhierarchien auf Ihrer Website. Sie werden niemals einen stets gültigen Satz wie „Rot schlägt Grün“ finden und Sie werden für statistisch signifikante Ergebnisse auch bei Ihrem konkreten Projekt sehr intensiv testen müssen. Das lohnt sich nicht.

7.) Sie geben zu schnell auf

Sie testen eine Veränderung auf Ihrer Website im Rahmen eines A/B Tests. Dabei ergibt sich keine verbesserte Conversion-Rate durch „B“ und… Sie geben auf. Das bringt ja alles sowieso nichts, oder? Doch, es bringt etwas. Machen Sie weiter. Testen Sie. Die Wahrscheinlichkeit, dass ein erster Test NICHT zu einer Verbesserung führt, ist relativ groß. In der Regel bringt erst die Wiederholung mit diversen Tests auf einer Website eine gewünschte Steigerung der Conversion-Rate. Geben Sie deshalb nicht zu schnell auf.

8.) Sie machen aus einem A/B einen A/B/C/D/E/F/G/H/I/J/K/L

Warum eigentlich immer nur A/B Tests? Machen Sie doch gleich einen Tests mit beispielsweise sechs, acht oder 18 Variationen. Google hat einst sogar 41 verschiedene Blautöne getestet. Toll? Nicht toll. Die Gefahr, dass man eine Variante fälschlicherweise zum Sieger erklärt, ist selbst bei einer statistischen Signifikanz von 95% groß. Nimmt man das (sicherlich extreme) Google-Beispiel mit den 41 Varianten,liegt das Risiko eines „falschen Siegers“ selbst bei einer statistischen Signifikanz von 95% bei stolzen 88%. Und was lernen wir: Weniger Varianten in einem Test zu testen, ist die bessere Idee.

9.) Sie testen zeitgleich in unakzeptabler Weise

Sie möchten in möglichst kurzer Zeit beim Testing möglichst viele gute Ergebnisse erhalten? Dagegen ist grundsätzlich nichts auszusetzen. Allerdings kann solch eine Haltung schnell dazu führen, dass man zeitgleich Tests laufen lässt, die sich gegenseitig beeinflussen und damit allesamt wertlos werden. Ein Beispiel: Sie besitzen einen Onlineshop und testen jeweils ein neues Layout auf der Produktseite, auf der Einkaufskorb-Seite und auf der Startseite. Das klingt vielleicht wie effizientes Testing, ist es aber nicht. Testen Sie lieber so, dass sich das neue Layout in einer zu testenden Version auf ALLEN Seiten befindet, während in der anderen Variante ALLE Seiten das alte Layout behalten.

10.) Sie ignorieren kleine Erfolge

Sie lesen vielleicht öfters von A/B Tests, bei denen Version B eine um 100 oder mehr Prozent höhere Conversion-Rate erzielt. Und dann führen Sie selbst einen A/B Test durch und es ergibt sich bei „B“ eine um „nur“ 5% höhere Conversion-Rate. Wie ernüchternd! Wenn man sich die großen Unterschiede anschaut, die sich in anderen A/B Tests ergeben, kann man 5% nicht wirklich ernst nehmen, oder? Doch. Kann man.

Man kann es einerseits, weil bereits eine um 5% gestiegene Conversion-Rate bisweilen eine sehr deutliche Umsatzsteigerung bedeutet. Andererseits sind A/B Tests mit riesigen Steigerungen der Conversion-Rate eher die Ausnahme. Man findet sie vor allem bei Websites mit anfangs sehr schlechter Conversion-Rate. Bei anderen Websites sind Steigerungen bis 5% die Regel und KEINESFALLS wertlos. Das gilt auch, weil selbst kleine Steigerungen Hypothesen über Kundenverhalten untermauern und so zu weiteren Testideen führen können, die über eine längere Strecke von Tests dann zu deutlich größeren Steigerungen führen.

11.) Sie machen zu große Pausen zwischen den Tests

Sie testen, erhalten ein Ergebnis und… machen erst einmal eine Testing-Pause. Machen Sie das nicht. Sie sollten mit passenden Folgetests nicht zu allzu lange warten. Nehmen Sie stattdessen die Ergebnisse Ihres Tests und bauen Sie auf ihnen zügig sinnvolle Schritte für neue Tests auf. Die Betonung liegt jedoch auf „sinnvoll“. Testen Sie nicht irgendetwas, einfach nur, um zu testen. Machen Sie sich am besten vorab einige Gedanken über eine grundsätzliche Testing-Strategie, mit der Sie Hypothesen überprüfen und die Conversion-Rate planvoll steigern.