Checkliste
Testhypothesen wurden gesammelt und priorisiert, Testvarianten konzipiert, designt und im Testing-Tool programmiert. Der neue A/B-Test kann also endlich starten.
Bei A/B-Tests kann es jedoch schnell zu einer Vielzahl an Problemen kommen, was Sie vor dem Start prüfen sollten, zeigt diese Checkliste.
Autor
Julian Kleinknecht
Testhypothesen wurden gesammelt und priorisiert. Testvarianten konzipiert, designt und im Testing-Tool programmiert. Der neue A/B-Test kann also endlich starten.
Bei A/B-Tests kann es jedoch schnell zu einer Vielzahl an Problemen kommen. Bevor Sie deshalb auf den „Test starten“-Button klicken, gibt es einiges zu überprüfen. Diese Checkliste zeigt Ihnen was Sie überprüfen müssen.
Die Checkpunkte sind in diese vier Kategorien eingeteilt:
Unsere Empfehlung lautet: Nehmen Sie sich vor dem Start eines jeden Tests diese Checkliste zur Hand und gehen Sie kurz die einzelnen Punkte durch. Drucken Sie sich die relevanten vier Seiten (Seiten 3-7) am besten aus.
Darstellungs- und Funktionsfehler in den Testvarianten machen Testergebnisse wertlos, führen zu unzufriedenen Besuchern und im schlimmsten Fall sogar dazu, dass die gewünschte Conversion nicht mehr durchgeführt werden kann. Vermeiden Sie dies!
In unserem Praxisguide „Qualitätssicherung von A/B-Tests“ erläutern wir die folgenden Checkpunkte im Detail und geben Tipps, wie diese am besten umgesetzt werden können.
Wurde die korrekte grafische Darstellung der Testvarianten überprüft?
Automatisierte Screenshots sind der einfachste und schnellste Weg Darstellungsprobleme von Testvarianten zu identifizieren. Es gibt zahlreiche SaaS-Anbieter, welche kostengünstig Screenshots von Websites auf einer schier unendlichen Anzahl von Kombinationen aus Browsern, Betriebssystemen und Geräten aufnehmen.
Vor allem ältere Browser werden von der IT-Abteilung oft nicht mehr unterstützt. Wenn schon die aktuelle Seite in manchen der Browser nicht funktioniert, ist es nicht notwendig, dass die Testvarianten in den Kombinationen korrekt angezeigt werden.
Wurde die Funktionalität der Testvarianten überprüft?
Die Methode der automatischen Screenshots hat die große Schwäche, dass die Funktionalität einer Testvariante nicht überprüft werden kann. Deshalb sollten die Testvarianten tatsächlich im Browser betrachtet werden.
Es kommt sehr selten vor, dass alle zuvor definierte Kombinationen aus Browsern und Geräten tatsächlich zur Verfügung stehen. Um die verbleibenden Kombinationen abzudecken, kann auf virtuelle Maschinen der gleichen Anbieter, die auch automatische Screenshots anbieten, zurückgegriffen werden.
Werden Testvarianten auf den gewünschten Seiten ausgespielt?
Sie möchten die Produktdetailseite testen? Dann sollen die Testvarianten natürlich auch nur dort ausgespielt werden. Überprüfen Sie vor jedem Test unbedingt, dass das Targeting korrekt eingestellt ist.
Falls Sie reguläre Ausdrücke zur Definition des Targetings verwenden, bieten Testing-Tools oft Hilfsmittel zum Überprüfen dieser Ausdrücke an. Verwenden Sie diese Hilfsmittel!
In unserer Checkliste „Testing-Tool implementieren“ zeigen wir, welche Vorbereitungen es für ein korrektes Targeting zu erfüllen gibt.
Werden Testvarianten für die gewünschten Besuchergruppen ausgespielt?
In den meisten Fällen sollen alle Besucher an einem A/B-Test teilnehmen. Manchmal ist ein Test jedoch nur für bestimmte Besuchergruppen konzipiert. Denkbar wären zum Beispiel Tests nur für wiederkehrende Besucher oder Besucher, die auf einen Display-Banner geklickt haben.
Die folgenden Besuchergruppen sollten jedoch bei jedem Test ausgeschlossen werden:
Wurden alle Targeting-Bedingungen von der Qualitätssicherung entfernt?
Für die Qualitätssicherung von Testvarianten empfiehlt es sich, einen eigenen Cookie zusetzen und den Test nur für Besucher mit diesem bestimmten Cookie auszuspielen (mehr dazu im entsprechenden Praxisguide). Sobald der Test gestartet ist, können bequem alle gewünschten Seiten überprüft werden.
Entfernen Sie diese Bedingungen vor dem tatsächlichen Start. Sonst wird der Test „normalen“ Besuchern nicht angezeigt.
Unsere Praxisguides „Ziele für A/B-Tests: Landingpages“ und „Ziele für A/B-Tests: Online-Shops (im Erscheinen) helfen Ihnen dabei, die passenden Erfolgsmetriken zu finden.
Wurden Makro-Conversions und der Umsatz hinzugefügt?
Unter „Makro-Conversions“ oder „finalen Conversions“ versteht man die tatsächlichen Ziele einer Website – zum Beispiel eine Transaktion oder ein Lead. Die meisten Testing-Tools erlauben es, schon für andere Tests angelegte Ziele nochmals zu verwenden. Fügen Sie also alle relevanten Ziele zu diesem Test hinzu.
Wurden Mikro-Conversions hinzugefügt?
Aktivieren Sie nicht nur Makro-Conversions, sondern unbedingt auch Mikro-Conversions, wie die einzelnen Schritte im Checkout oder Klicks auf den Warenkorb. Obwohl der Erfolg eines A/B-Tests nicht anhand dieser Metriken gemessen werden sollte, geben sie Auskunft über den Einfluss der Testvarianten auf das Besucherverhalten.
Wurden neu angelegte Ziele überprüft?
Wenn Ziele aus einem vorigen Test wiederverwendet werden (siehe voriger Checkpunkt), dann müssen diese Ziele in der Regel nicht nochmals überprüft werden. Wenn dagegen neue Ziele gemessen werden sollen, müssen diese natürlich vorher noch überprüft werden.
Unser Praxisguide „Qualitätssicherung von Tags und Implementierungen“ zeigt ausführlich, welche Schritte hierfür durchlaufen werden müssen.
Wurden Testergebnisse aus der Qualitätssicherung zurückgesetzt?
Denken Sie auch daran mögliche aufgezeichnete Besucher und Conversions auf der Qualitätssicherung zu löschen, indem Sie die Testergebnisse zurücksetzen.
Unserer Checkliste „Testing-Tool implementieren“ zeigt, wie Integrationen vorgenommen werden können.
Ist das Testing-Tool mit der Webanalyse-Software integriert?
Auswertungsmöglichkeiten innerhalb der Testing-Tools sind relativ begrenzt. Es können oft
nicht analysiert werden. Um diese Einschränkungen der Testing-Tools zu beheben, sollten diese mit dem Webanalyse-Tool verknüpft werden und diese Analysen dort gemacht werden.
In vielen Testing-Tools muss die Integration nur aktiviert werden, nachdem sie beim ersten Test angelegt wurde.
Ist das Testing-Tool mit dem In-Page-Analyse-Tool integriert?
Unter In-Page-Analyse fassen wir Heatmaps, Session-Wiedergabe und Formular-Analyse zusammen, welche oft in einem Tool angeboten werden.
Die in diesen Tools aufgezeichneten Daten sollten über die jeweilige Testvariante gelegt werden. Die Testvarianten müssen deshalb im In-Page-Analyse-Tool unterschieden werden können. Dies funktioniert nur, wenn diese Information vom Testing-Tool auch an das Heatmap-Tool gesendet wurde.
Unser Praxisguide „Möglichkeiten der In-Page-Analyse“ beschreibt alle Funktionen dieser Tools und zeigt, welche tatsächlich sinnvoll sind.
