Was ist ein A/B Test?

A/B Test klingt ein bisschen wie ein ABC-Test mit verlorenem „C“ und weckt vielleicht positive oder negative Erinnerungen an weit entfernte Schultage. A/B Tests haben allerdings nichts mit Schule nichts und das „C“ ist bei ihnen nie verloren gegangen. Es wird einfach nicht gebraucht. Der Begriff A/B Test steht bei der Conversion-Optimierung für den Test mindestens zweier Varianten A und B (z.B. einer Landingpage), um die Variante zu ermitteln, die für die höhere Conversion-Rate sorgt. Man könnte also theoretisch auch 1/2 Test, X/Y Test oder K/O Test sagen, aber „A“ und „B“ haben sich einfach durchgesetzt. Ein starkes Gespann!

Getestet werden…

Was genau als Variante „A“ und Variante „B“ getestet wird, gibt der A/B Test erst einmal nicht vor. Die Varianten „A“ und „B“ könnten beispielsweise zwei oder mehrere komplett verschiedene Varianten einer Landingpage sein: mit unterschiedlichem Design, unterschiedlicher Überschrift und unterschiedlicher Platzierung von Elementen wie dem Navigationsmenü, der internen Suchfunktion, dem Call to Action Element, den Bildern… Andererseits könnten die Varianten „A“ und „B“ (und man kann auch von Varianten “C”, “D” etc. sprechen) in unserem Beispiel auch „nur“ verschiedene Seitenüberschriften sein. Die Varianten der Landingpage sind dann bis auf die Überschriften genau gleich.

Ablauf eines A/B Tests

Nehmen wir an, die beiden Landingpage-Varianten „A“ und „B“ sollen getestet werden. Beide Varianten sind unter der Internetadresse „www.xyz.landingpage.de“ erreichbar und bewerben einen Geschenkkorb mit kulinarischen Köstlichkeiten. Der Besucher soll auf einen „Kauf mich“ Button klicken, um den Geschenkkorb zu bestellen. Die beiden Varianten unterscheiden sich im Design, im Text und in der Platzierung des Buttons.

• Ein A/B Testing-Tool sorgt nun dafür, dass ein Besucher der Internetadresse Xyz.landingpage.de entweder Version „A“ der Landingpage oder Version „B“ zu Gesicht bekommt. Der erste Besucher steuert also Xyz.landingpage.de an und sieht Version „A“, der zweite dann Version „B“, der dritte wieder „A“ und so geht es weiter, bis… ja, bis das vorab definierte Ende des A/B Tests erreicht ist.

• Als Ergebnis des A/B Tests sieht man nun, welche Conversion-Rate die Variante „A“ und welche die Variante „B“ erzielt hat. Oder anders: Man sieht, wie hoch der Anteil der Käufer an den Besuchern der Landingpage bei Variante „A“ und Variante „B“ gewesen ist. Diejenige Variante mit der höheren Conversion-Rate ist Testsieger und sorgt für bessere Geschäfte.

• Um brauchbare Ergebnisse beim A/B Test zu erhalten, sollte man auf eine ausreichende Zahl von Testpersonen und eine ausreichende Dauer des Tests achten. Zusätzlich sollte das Testingtool es ermöglichen, sich die Conversion-Raten für beliebige Zeitabschnitte innerhalb des Testzeitraums anzusehen und Ergebnisse abhängig von der Art der Internetnutzung zu analysieren. Vielleicht ist die Conversion-Rate der Variante „A“ ja bei Internetnutzern mit PC höher, die der Variante „B“ dagegen bei Nutzern des mobilen Internets? Die Schlussfolgerungen aus dem Test wären andere, als wenn man nur Variante „A“ zum Gesamtsieger des Tests erklärt, ohne auf die Herkunft der Landingpage-Besucher zu achten.

Die Probleme beim A/B Test

Bleiben wir noch ein bisschen bei den Schlüssen, die man aus einem A/B Test ziehen kann, und bei einem Problem. Wir testen wiederum Variante „A“ und Variante „B“ einer Landingpage und halten es einfach. Die beiden Varianten unterscheiden sich in drei Punkten: Der „Kauf-mich“ Button wird bei den Varianten an jeweils anderer Stelle platziert, die Varianten nutzen zwei unterschiedliche Fotos zur Illustration des Angebots und zwei verschiedene den Verkauf fördernde Überschriften. Wir haben also:

• Landingpage „A“ mit Button-Platzierung „A“, Foto A und Überschrift A
• Landingpage „B“ mit Button-Platzierung „B“, Foto B und Überschrift B

Beim A/B Test stellt sich heraus, dass bei Landingpage „A“ eine höhere Conversion-Rate erzielt wird. Es werden also mehr Besucher der Page auch Käufer des Produkts. Das bedeutet dann allerdings noch nicht, dass Landingpage „A“ die Variante für eine optimale Conversion-Rate ist.

• Vielleicht wäre ja die Landingpage-Variante „A“ mit Button-Platzierung „A“, Foto A und Überschrift B eine noch bessere Idee?

Das wird man mit oben genanntem A/B Test nicht herausfinden.

Sollte „C“ doch besser wieder ins Spiel kommen?

In unserem Beispiel wäre ein multivariater Test besser. Bei ihm kommen neben den Varianten „A“ und „B“ auch noch „C“ sowie vielleicht „D“ und „E“ ins Spiel. Man testet also etwa:

• Landingpage „A“ mit Button-Platzierung „A“, Foto A und Überschrift A
• Landingpage „B“ mit Button-Platzierung „B“, Foto B und Überschrift B
• Landingpage „C“ mit Button-Platzierung „A“, Foto A und Überschrift B
• Landingpage „B“ mit Button-Platzierung „B“, Foto B und Überschrift A

Das bringt oftmals viel genauere und aufschlussreichere Ergebnisse. Ist der A/B Test also veraltet? Nein, soweit würden wir nicht gehen. Aber er eignet sich vielleicht besser für kleinere Aufgaben, etwa um ein- und dieselbe Landingpage mit zwei verschiedenen Überschriften zu testen. Hierfür kann A/B unter Umständen völlig ausreichend sein und „C“ ist wiederum überflüssig. Armes kleines „C“!