Checkliste

Qualitätssicherung von A/B-Tests

Die Qualitätssicherung von Testvarianten ist wichtig für den Erfolg von A/B- und multivariaten Tests. Darstellungs- und Funktionsfehler in den Testvarianten machen die Testergebnisse wertlos und führen zu unzufriedenen Besuchern.

Diese Checkliste erhält 14 erläuterte Kriterien, die erfüllt sein müssen, bevor ein A/B-Test starten kann.

1. Qualitätssicherung des Test-Setups

Wurde nach der Implementierung ein A/A-Test durchgeführt?

Dies stellt sicher, dass

  • Besucher gleichmäßig auf die einzelnen Testvarianten verteilt werden und
  • der Einfluss des Zufalls auf Testergebnisse gering ist.

Werden Ziele korrekt aufgezeichnet?

Während des A/A-Test sollte auch gleich überprüft werden, ob alle konfigurierten Ziele korrekt gemessen werden. Ein besonderer Fokus sollte natürlich auf die (finalen) Conversions und (falls vorhanden) den Umsatz gelegt werden.

Funktioniert die Integration mit anderen Tools?

Die Integration mit anderen Tools funktioniert dann, wenn die IDs der Testvarianten auch tatsächlich korrekt an diese Tools übergeben werden.

Funktioniert das Targeting des aktuellen Tests?

Wird der Test dort und nur dort ausgespielt, wo dies auch geplant ist?

2. Qualitätssicherung der Testvarianten

Wenn feststeht, dass das Testing-Tool korrekt funktioniert, sollten nun die Testvarianten nacheinander überprüft werden.

2.1 Vorbereitungen

Wurden die beiden Ziele der Qualitätssicherung definiert?

Diese beiden Eigenschaften sollten auf jeden Fall von jeder Testvariante erfüllt sein:

  • korrekte grafische Anzeige der Testvariante
  • volle Funktionalität der Website bei Auslieferung der Testvariante

Wurden die relevanten zu überprüfenden Kombinationen definiert?

Die größte Herausforderung der Qualitätssicherung von Testvarianten besteht darin, dass Besucher sehr viele verschiedene Kombinationen an Hard- und Software einsetzen. Diese Faktoren können einen Einfluss auf die korrekte Darstellung und Funktionsweise einer Testvariante haben:

  • verwendeter Browser und Browserversion
  • verwendetes Gerät: Desktop vs. Tablets vs. Smartphones
  • verwendetes Betriebssystem

Wurden die zu überprüfenden Seiten definiert?

Falls ein Test über mehrere Seiten hinweg laufen soll, ist zu fragen, ob es Unterschiede zwischen diesen Seiten gibt. Auf verschiedenen Kategorieseiten können beispielsweise verschiedene Filter vorhanden sein.

Wenn nicht alle diese Möglichkeiten in den relevanten Kombinationen überprüft werden, kann es einfach vorkommen, dass es beispielsweise auf bestimmten Kategorieseiten zu Darstellungs- und Funktionsfehlern kommen kann.

Wurden alle Funktionen, die überprüft werden sollen, definiert?

Um das Ziel der Funktionalität jeder Testvariante systematisch zu überprüfen, empfiehlt es sich, eine Liste aller Funktionalitäten aufzustellen, die auf der Testvariante überprüft werden sollte.

2.2 Methoden zur Qualitätssicherung der Testvarianten

Wurden automatisierte Screenshots in den relevanten Kombinationen erstellt?

Automatisierte Screenshots sind der einfachste und schnellste Weg Darstellungsprobleme von Testvarianten zu identifizieren. Es gibt zahlreiche SaaS-Anbieter, welche kostengünstig Screenshots von Websites auf einer schier unendlichen Anzahl von Kombinationen aus Browsern, Betriebssystemen und Geräten aufnehmen.

Wurden auch Screenshots der Kontrollvariante erstellt?

Vor allem ältere Browser werden von der IT-Abteilung oft nicht mehr unterstützt. Wenn schon die aktuelle Seite in manchen der Browser nicht funktioniert, ist es nicht notwendig, dass die Testvarianten in den Kombinationen korrekt angezeigt werden.

Wurden Testvarianten manuell im Browser überprüft?

Die Methode der automatischen Screenshots hat die große Schwäche, dass die Funktionalität einer Testvariante nicht überprüft werden kann. Deshalb sollten die Testvarianten tatsächlich im Browser betrachtet werden.

Wurden Testvarianten manuell mithilfe virtueller Maschinen überprüft?

Es kommt sehr selten vor, dass alle zuvor definierte Kombinationen aus Browsern und Geräten tatsächlich zur Verfügung stehen. Um die verbleibenden Kombinationen abzudecken, kann auf virtuelle Maschinen der gleichen Anbieter, die auch automatische Screenshots anbieten, zurückgegriffen werden.

3. Qualitätssicherung während eines laufenden Tests

Werden die Ergebnisse im Testing-Tool regelmäßig angesehen?

Um mögliche Probleme des Test-Setups oder der Testvarianten zu identifizieren, sollten Veränderungen der Ziele überwacht werden. Eine unerwartete Veränderung deutet darauf hin, dass etwas mit der entsprechenden Testvariante nicht stimmt.

Wurden automatische Benachrichtigungen angelegt?

Falls es die Tools anbieten, sollten automatische Benachrichtigungen aktiviert werden. Diese benachrichtigen per E-Mail, wenn eine bestimmte Metrik einen bestimmten Wert unter- oder übersteigt.

Passend zu diesem Thema

ConversionBoosting