A/B-Tests? Tun Sie das nicht! NOCH nicht.

Für einen überzeugten Conversion-Optimierer sind A/B-Tests eigentlich immer eine gute Sache. Richtig? Nein. Es gibt Situationen, in denen ein A/B-Test (noch) keinen Sinn macht. Mit der neuen Premium-Checkliste „Voraussetzungen für A/B-Tests“ können Sie prüfen, ob die Grundvoraussetzungen für effiziente A/B-Tests auf Ihrer Website bereits gegeben sind oder noch nicht.

Kaum etwas ist bei Conversion-Optimierungen wichtiger als A/B-Tests. Nur dank der Echtzeitprüfung, wie erfolgreich Veränderungen der Website tatsächlich sind, kann man von einer echten Optimierung sprechen. Deshalb wirkt es immer etwas eigentümlich, wenn ein Conversion-Optimierer von A/B-Tests abrät.

Im ersten Moment mag es so wirken, als verrate er Grundprinzipien. Aber dem ist nicht so. Ein Instrument klug zu nutzen, bedeutet auch, die Grenzen seiner Nützlichkeit zu erkennen. Ansonsten arbeitet man wie einer, der mit dem Bohrer einen Nagel einschlägt und auf den bereitliegenden Hammer verzichtet.

Für den sinnvollen Einsatz von A/B-Tests gibt es Bedingungen. Sind die nicht erfüllt, sollte man andere Instrumente vorziehen und erst zu einem späteren Zeitpunkt eventuell A/B-Tests nutzen. Hier sind einige dieser Bedingungen (die Checkliste bietet noch deutlich mehr):

1. A/B-Tests: nur gut für gute Websites

Auch das mag erst einmal widersinnig klingen. Sind A/B-Tests nicht dafür da, aus Websites gute Websites zu machen? Nein. Genau dafür sind sie nicht optimal. Wenn Websites einfachste Anforderungen an Benutzerfreundlichkeit und modernes Webdesign vermissen lassen, könnte man zwar mit A/B-Tests Verbesserungen herbeiführen – aber es wäre ineffizient.

Mit einfachsten Anforderungen sind beispielsweise fehlerlos ablaufende Funktionen gemeint, so dass etwa ein Klick auch die vom Kunden erwartete Aktion auslöst. Sie gehören zum Fundament der Website, zu den Basics der Website-Optimierung. Um aber das Fundament zu bauen, kann man tun, was man später vermeiden sollte: ohne Tests auf bewährte Standards setzen.

In dieser Phase ist es besser, sich auf Experten aus Webdesign, Programmierung und Marketing zu verlassen. A/B-Tests würden jetzt noch keine weitaus besseren Ergebnisse bringen, aber viel Zeit kosten und Arbeitskraft binden.

Um von A/B-Tests zu profitieren, sollten Websites darüber hinaus bereits eine ausreichend hohe Anzahl an Conversions pro Monat vorweisen. Ansonsten würde es schwierig, mit A/B-Tests in vertretbarer Zeit statistisch abgesicherte Ergebnisse zu erhalten.

Als einen Orientierungswert, ab dem A/B-Tests sinnvoll sein können, nennt die Checkliste 500 Conversions/Monat. Sie warnt aber auch davor, sich allzu sehr an diesem Wert zu orientieren. Abhängig ist die benötigte Zahl der Conversions unter anderem vom Potenzial einer Testidee. Grundsätzlich gilt: „Je einfacher Testvarianten zu einer Steigerung der Conversion-Rate führen, desto weniger Conversions werden benötigt, um statistisch signifikante Ergebnisse zu erzielen.“

Das bedeutet etwa: In der Anfangsphase einer Conversion-Optimierung (bei einer bisher noch gar nicht optimierten Website) ist die Zahl der benötigten Conversions/Monat tendenziell niedrig. Sie steigt aber mit zunehmender Optimierung an. Helfen beim Berechnen nötiger Conversions können Instrumente wie der Sample Size Calculator von Evan Miller.

2. Instrument: implementieren und beherrschen

Um A/B-Tests durchführen zu können, muss das jeweilige Testinstrument richtig in die Website implementiert sein und beherrscht werden. Beim Implementieren liegt die Betonung auf „richtig“. Richtig kann beispielsweise bedeuten, das JavaScript-Tag des Testing-Tools direkt nach dem Head-Tag in den HTML-Code der Website einzubauen. Das reduziert das Risiko, dass Besucher bemerken, dass es verschiedene Varianten der Website gibt (sie also an einem Test teilnehmen).

Beim Testen sollte zudem der Warenkorbwert/Umsatz, der mit Conversions erzielt wird, an die Software übergeben werden. Nur so kann er in die Erfolgsmessung einfließen. Zudem sollte eine gute Verbindung zwischen Testing-Tool und Webanalyse-Software bestehen. So wird es möglich, auch kleinere Kundensegmente und ihr Verhalten auf der Original- und der Testseite zu untersuchen (z.B. ältere technikaffine Frauen mit höherem Einkommen).

Nicht zuletzt ist es natürlich wichtig, dass Menschen mit der Testing-Software arbeiten, die die Technik auch wirklich beherrschen. Nur so wird sichergestellt, dass A/B-Tests keine verfälschten Ergebnisse liefern und bei der Optimierung schlimmstenfalls in die Irre führen.

3. Der Faktor Mensch

Den wichtigen Faktor Mensch haben wir bereits angesprochen. Er ist aber noch aus anderen Gründen bedeutend. So sollte beispielsweise ein enger Kontakt des Testingteams zu Webdesignern, Programmierern und gegebenenfalls Textern bestehen, damit Testideen auch möglichst schnell umgesetzt werden können. Kommt es immer wieder zu Verzögerungen, wird effizientes Testen schwierig.

Effizientes A/B-Testing ist zudem nur möglich, wenn die Führungsspitze des Unternehmens den Tests aufgeschlossen gegenübersteht. Ist das noch nicht der Fall, sollten erste Tests vor allem oder auch dazu dienen, intern Überzeugungsarbeit zu leisten.

Ansonsten könnten ganz viele „Aber“ und „Lieber doch nicht“ immer wieder zu schrecklich unfruchtbaren Diskussionen führen. Nur mit voller Unterstützung des Führungsteams erhält man auch Freigaben und Ressourcen für größere Testvorhaben oder Tests mit etwas höheren Risiken. Und nur, wenn man auch solche Freigaben erhält, kann man das Potenzial von A/B-Tests für die Conversion-Optimierung komplett ausschöpfen.

Was die Checkliste noch verrät!

Die ConversionBoosting-Checkliste „Voraussetzungen für A/B-Tests“ gibt über das hier Präsentierte hinaus unter anderem Tipps, wie man Vorgesetzte von der Sinnhaftigkeit von A/B-Tests überzeugt. Sie zeigt, wie man die benötigte Laufzeit von A/B-Tests kalkuliert und für welche Ziele sich A/B Tests lohnen. Insgesamt liefert die Checkliste sieben Checkpunkte zum Abhaken, viele Informationen sowie Links zu anderen ConversionBoosting-Dokumenten mit weiterführenden Infos zum jeweiligen Thema.