Praxisguide
Die Dokumentation durchgeführter Tests wird leider oft stiefmütterlich behandelt. Es gibt jedoch viele Gründe, weshalb alle Schritte eines A/B-Tests ausführlich dokumentiert werden sollten. Da gesammelte Wissen soll unter anderem langfristig festgehalten werden – auch wenn Mitarbeiter das Unternehmen verlassen.
In diesem Praxisguide erläutern wie deshalb, wie Sie alle notwendigen Schritte der Dokumentation durchlaufen.
Autor
Julian Kleinknecht
Sie möchten also nun endlich auch A/B-Tests auf Ihrer Website durchführen? Dieser Praxisguide zeigt 10 konkrete Schritte, die es hierfür zu durchlaufen gilt.
Zu jedem Schritt weisen wir auf Hürden und Schwierigkeiten hin und geben Tipps, wie diese überwunden werden können. Für Unternehmen verschiedener Größe sind manche der Schritte aufwendiger als andere. Auch hierauf weisen wir hin.
In unserer umfangreichen Wissensdatenbank finden Sie weiterführende Dokumente, welche Sie beim den jeweiligen Schritten unterstützen.
Diese Schritte gilt es zu durchlaufen:
A/B-Tests sind nicht für alle Websites sinnvoll. Es muss eine Mindestanzahl an Conversions pro Monat aufgezeichnet werden, um statistisch signifikante Ergebnisse zu erzielen. Anderenfalls sind die gemessenen Ergebnisse nur zufällig und somit wertlos. Man hätte stattdessen direkt eine Münze werfen können oder die Varianten wählen können, die man selbst für die beste hält.
Unter einer Conversion versteht man in den meisten Fällen eine Besucheraktion, die zu mehr Umsatz führt. Für Online-Shops und E-Commerce sind dies Transaktionen; für Landingpages zur Leadgenerierung eingesammelte Leads. Theoretisch können auch Aktionen wie Klicks auf den Call-to-Action oder Klicks auf Suchergebnisse als Conversions definiert werden. Diese stehen aber in keinem konkreten Zusammenhang zu mehr Umsatz und sind deshalb meistens ungeeignet. [1]
Wie viele Conversions sollten pro Monat aufgezeichnet werden? Eine pauschale Aussage ist schwierig. Über mindestens 500 Conversion/Monat sollte Sie ungefähr verfügen, um sicherlich testen zu können. Auch bei Websites mit geringeren Zahlen (250 Conversions) A/B-Test können Tests durchgeführt werden. Sie dauern jedoch ungemein länger.
Die Anzahl der Besucher ist in den meisten Fällen nicht relevant. Ob eine Website über 100.000 Besucher und 500 Conversions einerseits oder 10.000 Besucher und 500 Conversions andererseits verfügt, ist für das A/B-Testing nicht relevant.
Falls Ihre Website aktuell nur über 100 Conversions verfügt, dann stellen Sie das Projekt A/B-Testing erst mal nach hinten! Statt hier Zeit und Geld zu investieren, empfehlen wir zuerst diese Punkte abzuarbeiten:
Weiterführende Informationen hierzu bekommen Sie in der Aufzeichnung unseres Vortrags: „Einführung Remote Usability Testing“.
Während eines A/B-Tests müssen mindestens diese Aufgaben von einem Testing-Tool erfüllt werden:
Wir empfehlen für den Einstieg die Nutzung von Goolge Optimize.
Fast alle modernen Testing-Tools werden auf die gleiche Weise eingebaut. Ein paar Zeilen JavaScript werden auf im seitenübergreifenden Template eingebaut. Fertig. Bei Optimizely sieht dies beispielsweise so aus:
Websites, die Produkte mit verschiedenen Preisen verkaufen oder Leads mit unterschiedlicher Wertigkeit einsammeln, sollten diese Werte im Testing-Tool tracken. Hierfür wird häufig auf der Vielen-Dank-Seite eine Zeile JavaScript wie diese eingebaut („123.45“ wird dynamisch durch den tatsächlichen Warenkorbwert ersetzt):
testingtool.revenue(123.45);
Integrieren Sie außerdem das Testing-Tool und das Webanalyse-Tool. Die Auswertungsmöglichkeiten innerhalb der Testing-Tools sind relativ begrenzt. Kompliziertere Segmente können im Testing-Tool nicht betrachtet werden. Nach der Integration ist dies jedoch im Webanalyse-Tool möglich. In Testing-Tool VWO funktioniert dies zum Beispiel so:
Eine ausführlichere Anleitung und Hinweise auf verschiedene Herausforderungen und Fallstricke finden Sie in der Checkliste „Testing-Tool implementieren“.
Weiterbildung per eLearning.
Keine Anmeldung notwendig
Nachdem die Implementierung des Testing-Tools durchgeführt bzw. bei der IT-Abteilung angestoßen wurde, können Sie mit einem ersten A/B-Test loslegen.
Investieren Sie nicht zu viel Zeit in die Konzeption des ersten Tests. In vielen Fällen verzetteln sich Einsteiger ins A/B-Testing. Von der Konzeption zum Start des Tests vergehen deshalb mehrere Wochen. Statt einen komplizierten Test durchzuführen, fangen Sie mit einem einfach durchzuführenden an. Während dieser läuft, können Sie
Erstellen Sie zu Beginn Testvarianten mit diesen Themen:
Ablenkung reduzieren
Vor allem auf Online-Shops gibt es oft sehr viele Elemente, die Besucher vom eigentlichen Produkt oder den Suchergebnissen ablenken. Testen Sie also, ob und wenn ja, welchen Einfluss das Entfernen bestimmter Elemente hat.
Überschrift testen
Gerade auf Landingpages spielt die Überschrift eine große Rolle. Sie muss sowohl direkt vermitteln, was hier verkauft wird, als auch den Vorteil des Angebots herausstellen. Überlegen Sie deshalb, wie diese beiden Faktoren in der Überschrift verbessert werden können:
Natürlich können und sollten beide Faktoren auch in anderen Elemente einer Website wie Aufzählungen, Fließtext oder Bildern getestet werden. Für einen ersten Test eignet sich die Überschrift jedoch sehr gut.
Vertrauen erweckende Elemente
Websites ohne bekannte Marke kämpfen oft mit dem Problem, dass Besucher ihnen nicht vertrauen. Sie sind unsicher, ob Waren auch wirklich geliefert werden oder ob Zahlungsdaten sicher sind. Testen Sie, ob Vertrauen erweckende Elemente wie Testsiegel oder Kundenbewertungen hier helfen können.
Unser Praxisguide „Vertrauen im Online-Shop schaffen“ zeigt Möglichkeiten und konkrete Beispiele, wie das Vertrauen in Online-Shops gesteigert werden kann.
Der erste Test läuft. Das nächste Ziel sollte sein, Prozesse zu etablieren, wie mittel- und langfristig erfolgreich getestet werden kann. Wichtigste Grundlage hierfür sind viele gute Testideen, die später in Testhypothesen übersetzt werden.
Erster Grundsatz hierfür: Speichern Sie alle Testideen und -hypothesen in einem zentralen Dokument. Auf diese Weise können alle Teammitglieder Ideen beisteuern und Hypothesen können einfach priorisiert werden (siehe nächstes Kapitel). Hier kann beispielsweise ein Google Sheet oder ein Kanban-Board zum Einsatz kommen.
Der Praxisguide „Kanban: Projektmanagement für A/B-Tests“ erklärt, wie die bekannte Kanban-Methode sinnvoll zur Planung von A/B-Tests eingesetzt werden kann.
In Anlehnung an den Begriff des „User Research“ aus der User-Experience- und Usability-Forschung werden alle Methoden, um Testideen zu sammeln, auch „Conversion Research“ genannt.
Diese Methoden können zum Einsatz kommen:
|
Qualitative Methoden |
Quantitative Methoden |
|
Best Practices / Expertenevaluation |
Webanalyse-Daten |
|
Wettbewerbsanalyse |
In-Page-Analyse |
|
Onsite-Befragungen von Besuchern und Kunden |
Analyse technischer Probleme und Optimierung von Ladezeiten |
|
Offsite-Befragungen von Kunden (zum Beispiel in Person oder am Telefon) |
Aufmerksamkeitsanalyse |
|
Chat-Logs und Befragungen von Support-/Sales-Team |
|
|
Remote-Usability-Test |
|
|
Labor-Usability-Test |
Gehen Sie die Liste der Methoden durch und überprüfen Sie, welche für Ihre Website sinnvoll sind.
Die gesammelten Ideen müssen nun in Hypothesen umgewandelt werden, die in A/B-Tests überprüft werden können. Halten Sie sich hierbei an diese Grundsätze:
Nur einen Faktor ändern
Verändern Sie nicht gleichzeitig die Überschrift, das Bild und den Text einer Landingpage. Falls diese Testvarianten zu einer Steigerung der Conversion-Rate führt, wissen Sie nicht, welche Veränderung dies herbeigeführt hat.
Motivation statt Layout
Denken Sie nicht darüber nach, welches Layout der Website zu mehr Conversions führt, sondern darüber, wie Sie Besucher besser überzeugen können. Überlegen Sie beispielsweise nicht, welche Buttonfarbe die beste ist, sondern eher ob, Sie auf einer Landingpage viele oder wenige Informationen darstellen sollen.
Maximale Ausweitung
Angenommen die Hypothese lautet, dass Besucher dem Online-Shop nicht vertrauen. Dann testen Sie keine Testvariante mit Hinweis auf ekomi-Bewertungen unten im Footer. Führen Sie die Veränderung stattdessen prominenter durch, beispielsweise im Header und stellen das Element groß genug dar, damit es auch wahrgenommen wird.
Eine ausführlichere Beschreibung zum Aufstellen von Hypothesen finden Sie im Praxisguide „Hypothesen für A/B-Tests aufstellen„.
Weiterbildung per eLearning.
Keine Anmeldung notwendig
Die zuvor gesammelte Liste an Hypothesen muss nun priorisiert werden. Nicht jede Hypothese verspricht eine ähnliche Steigerung der Conversion-Rate und des Umsatzes.
Die Priorität der einzelnen Hypothese kann mit dieser einfachen Formel bestimmt werden:
Priorität = Einfluss / Aufwand
Zu jeder Hypothese schätzen Sie also diese beiden Faktoren.
Der Einfluss einer Testvariante auf die Conversion-Rate wird unter anderem durch diese Faktoren bestimmt:
Der Aufwand, um eine Testvariante zu testen, wird unter anderem durch diese Faktoren beeinflusst:
Im Praxisguide „Testhypothesen und -ideen priorisieren“ erläutern wir das konkrete Vorgehen für das Bestimmen der beiden Faktoren und vermitteln weiteres Hintergrundwissen.
Die zuvor gesammelten und priorisierten Hypothesen müssen jetzt in Testvarianten umgesetzt werden. Sie könnten Hypothesen an einen Webdesigner oder Webentwickler senden, sodass dieser sie in Photoshop oder HTML umsetzt.
Dieses Vorgehen ist jedoch nicht zu empfehlen! Skizzieren Sie die Testvariante lieber zuvor und lassen Sie diese Skizze dann umsetzen. Diese Skizzen werden auch Prototypen, Mockups oder Wireframes genannt. Alle drei Namen bezeichnen visuellen Beschreibungen, wie eine Testvariante aussehen soll.
Wireframe für das Dashboard eines ConversionBoosting-Accounts
Wenn Testhypothesen direkt umgesetzt werden, benötigen Sie mehrere Abstimmungsrunden, bis Sie die gewünschte Testvariante erhalten. Webdesigner oder -entwickler sind selten Experten für Conversion-Optimierung. Spezifizieren Sie die Testvarianten deshalb so genau wie möglich und ersparen Sie sich Zeit und Geld.
Diese Beschreibungen können entweder ganz einfach auf Papier, per PowerPoint oder mithilfe eines speziellen Wireframing-Tools (wie pidoco) erstellt werden.
Unsere Vortragsaufzeichung „Wireframes und Website-Prototypen erstellen mit pidoco“ beschreibt diesen Prozess ausführlicher und gibt viele konkrete Beispiele und Tipps.
Falls der Wireframe neue grafische Elemente enthält, lassen Sie sich von einem Webdesigner helfen. Senden Sie den Wireframe an einen Webdesigner mit der Bitte, diesen umzusetzen. Weisen Sie unbedingt darauf hin, an welchen Stellen er/sie sich genau am Wireframe orientieren soll und wo er/sie selbst kreative Vorschläge einbringen soll.
Bevor der grafische Entwurf programmiert wird, muss erst entschieden werden, wie die technische Umsetzung des Tests erfolgen soll. Wird hier auf eine DOM-Manipulation zurückgegriffen, dann muss die Testvariante in JavaScript programmiert werden.
Wenn er dagegen als URL-Splittest umgesetzt wird, dann kann die Testvarianten in HTML und CSS programmiert werden.
Wir vergleichen die Vorteile beider Möglichkeiten in diesem Blogbeitrag: „Redirect oder DOM-Manipulation?“.
Einfache Testvarianten können auch per grafischen Editor (ein sogenannter „Point-and-Click-Editor“) umgesetzt werden. Diese Aufgabe kann vom Conversion Manager oder Webdesigner übernommen werden.
Der Praxisguide „Point&Click-Editoren: Nutzen und Limits in der Praxis“ zeigt, was es hierbei zu beachten gibt und wo diese Editoren nicht eingesetzt werden können.
Der Praxisguide „Testvarianten in JavaScript umsetzen„ zeigt, wie auch komplexere Testvarianten umgesetzt werden können.
Bevor ein Test gestartet wird, sollte unbedingt eine gründliche Qualitätssicherung durchgeführt werden. Für jede Testvariante sollten diese beiden Fragen beantwortet werden:
Nicht ist schlimmer als eine Testvariante, deren Warenkorb-Button nicht funktioniert und Besucher deshalb nichts in den Warenkorb legen können. Verhindern Sie dies unbedingt! Neben unzufriedenen Besuchern haben Sie auch mit verlorenem Umsatz zu kämpfen.
Natürlich können beide Fragen nicht für alle Browser überprüft werden. Schauen Sie deshalb im Webanalyse-Toll nach, welche Browser am häufigsten verwendet werden.
Der Praxisguide „Qualitätssicherung von A/B-Tests“ beschreibt alle Prozesse und Methoden, wie eine Qualitätssicherung im Detail aussieht.
Das in Tests gesammelte Wissen sollte unbedingt festgehalten werden. Am Test beteiligte Personen wissen nach einigen Monate sicherlich nicht mehr, was genau getestet wurde und welche Ergebnisse erzielt wurden. Wenn dann noch Mitarbeiter das Unternehmen verlassen, ist das Wissen ohne ordentliche Dokumentation komplett verloren.
Nach dem Ende eines jeden Tests sollten Sie diesen deshalb ausführlich dokumentieren. Notieren Sie mindestens diese Eigenschaften:
Die Dokumentation kann auf unterschiedliche Weisen erfolgenden: als Präsentation, in einer Tabellenkalkulation, per Textdokument oder gar in einem Wiki.
[1] Der Praxisguide „Ziele für A/B-Tests auf Landingpages definieren“ diskutiert diese Frage ausführlicher.
[2] Sowohl für Online-Shops/E-Commerce als auch für Landingpages/Lead-Generierung finden Sie unserer Wissensdatenbank alle passenden Dokumente.
