Praxisguide

A/B-Tests dokumentieren

Die Dokumentation durchgeführter Tests wird leider oft stiefmütterlich behandelt. Es gibt jedoch viele Gründe, weshalb alle Schritte eines A/B-Tests ausführlich dokumentiert werden sollten. Da gesammelte Wissen soll unter anderem langfristig festgehalten werden – auch wenn Mitarbeiter das Unternehmen verlassen.

In diesem Praxisguide erläutern wie deshalb, wie Sie alle notwendigen Schritte der Dokumentation durchlaufen.

1. Einleitung

Sie möchten also nun endlich auch A/B-Tests auf Ihrer Website durchführen? Dieser Praxisguide zeigt 10 konkrete Schritte, die es hierfür zu durchlaufen gilt.

Zu jedem Schritt weisen wir auf Hürden und Schwierigkeiten hin und geben Tipps, wie diese überwunden werden können. Für Unternehmen verschiedener Größe sind manche der Schritte aufwendiger als andere. Auch hierauf weisen wir hin.

In unserer umfangreichen Wissensdatenbank finden Sie weiterführende Dokumente, welche Sie beim den jeweiligen Schritten unterstützen.

Diese Schritte gilt es zu durchlaufen:

  1. Entscheidung treffen: Sind A/B-Tests für die Website überhaupt sinnvoll? (2. Kapitel)
  2. Testing-Tool auswählen (3. Kapitel)
  3. Tool implementieren (4. Kapitel)
  4. Ersten einfachen Test durchführen (5. Kapitel)
  5. Für Ideen sammeln und Hypothesen aufstellen (6. Kapitel)
  6. Hypothesen priorisieren (7. Kapitel)
  7. Wireframes konzipieren (8. Kapitel)
  8. Testvariante umsetzen / Umsetzung koordinieren (9. Kapitel)
  9. Qualitätssicherung durchführen (10. Kapitel)
  10. Ergebnisse dokumentieren (11. Kapitel)

2. Sind A/B-Tests überhaupt für mich sinnvoll?

A/B-Tests sind nicht für alle Websites sinnvoll. Es muss eine Mindestanzahl an Conversions pro Monat aufgezeichnet werden, um statistisch signifikante Ergebnisse zu erzielen. Anderenfalls sind die gemessenen Ergebnisse nur zufällig und somit wertlos. Man hätte stattdessen direkt eine Münze werfen können oder die Varianten wählen können, die man selbst für die beste hält.

Unter einer Conversion versteht man in den meisten Fällen eine Besucheraktion, die zu mehr Umsatz führt. Für Online-Shops und E-Commerce sind dies Transaktionen; für Landingpages zur Leadgenerierung eingesammelte Leads. Theoretisch können auch Aktionen wie Klicks auf den Call-to-Action oder Klicks auf Suchergebnisse als Conversions definiert werden. Diese stehen aber in keinem konkreten Zusammenhang zu mehr Umsatz und sind deshalb meistens ungeeignet. [1]

Wie viele Conversions sollten pro Monat aufgezeichnet werden? Eine pauschale Aussage ist schwierig. Über mindestens 500 Conversion/Monat sollte Sie ungefähr verfügen, um sicherlich testen zu können. Auch bei Websites mit geringeren Zahlen (250 Conversions) A/B-Test können Tests durchgeführt werden. Sie dauern jedoch ungemein länger.

Die Anzahl der Besucher ist in den meisten Fällen nicht relevant. Ob eine Website über 100.000 Besucher und 500 Conversions einerseits oder 10.000 Besucher und 500 Conversions andererseits verfügt, ist für das A/B-Testing nicht relevant.

Falls Ihre Website aktuell nur über 100 Conversions verfügt, dann stellen Sie das Projekt A/B-Testing erst mal nach hinten! Statt hier Zeit und Geld zu investieren, empfehlen wir zuerst diese Punkte abzuarbeiten:

  • Kümmern Sie sich um mehr Besucher über sinnvolle Kanäle wie SEA, SEO, Display oder Affiliate.
  • Verbessern Sie die Website basierend auf Best Practices und Heuristiken. [2]
  • Führen Sie einen Remote-Usability-Test durch, um grobe Probleme zu identifizieren.

Weiterführende Informationen hierzu bekommen Sie in der Aufzeichnung unseres Vortrags: „Einführung Remote Usability Testing“.

3. Testing-Tool auswählen

Während eines A/B-Tests müssen mindestens diese Aufgaben von einem Testing-Tool erfüllt werden:

  • Besuchern muss dauerhaft eine Testvariante zuwiesen werden.
  • Besuchern muss diese Testvariante angezeigt werden.
  • Conversions müssen gemessen werden.
  • Ergebnisse müssen in Berichte aufbereitet werden.

Wir empfehlen für den Einstieg die Nutzung von Goolge Optimize.

4. Testing-Tool implementieren

Fast alle modernen Testing-Tools werden auf die gleiche Weise eingebaut. Ein paar Zeilen JavaScript werden auf im seitenübergreifenden Template eingebaut. Fertig. Bei Optimizely sieht dies beispielsweise so aus:

Websites, die Produkte mit verschiedenen Preisen verkaufen oder Leads mit unterschiedlicher Wertigkeit einsammeln, sollten diese Werte im Testing-Tool tracken. Hierfür wird häufig auf der Vielen-Dank-Seite eine Zeile JavaScript wie diese eingebaut („123.45“ wird dynamisch durch den tatsächlichen Warenkorbwert ersetzt):

testingtool.revenue(123.45);

Integrieren Sie außerdem das Testing-Tool und das Webanalyse-Tool. Die Auswertungsmöglichkeiten innerhalb der Testing-Tools sind relativ begrenzt. Kompliziertere Segmente können im Testing-Tool nicht betrachtet werden. Nach der Integration ist dies jedoch im Webanalyse-Tool möglich. In Testing-Tool VWO funktioniert dies zum Beispiel so:

Eine ausführlichere Anleitung und Hinweise auf verschiedene Herausforderungen und Fallstricke finden Sie in der Checkliste „Testing-Tool implementieren“.

5. Ersten einfachen Test durchführen

Nachdem die Implementierung des Testing-Tools durchgeführt bzw. bei der IT-Abteilung angestoßen wurde, können Sie mit einem ersten A/B-Test loslegen.

Investieren Sie nicht zu viel Zeit in die Konzeption des ersten Tests. In vielen Fällen verzetteln sich Einsteiger ins A/B-Testing. Von der Konzeption zum Start des Tests vergehen deshalb mehrere Wochen. Statt einen komplizierten Test durchzuführen, fangen Sie mit einem einfach durchzuführenden an. Während dieser läuft, können Sie

  • sich besser mit dem Testing-Tool vertrauen machen
  • weitere Tests mit mehr Zeit konzipieren.

Erstellen Sie zu Beginn Testvarianten mit diesen Themen:

Ablenkung reduzieren

Vor allem auf Online-Shops gibt es oft sehr viele Elemente, die Besucher vom eigentlichen Produkt oder den Suchergebnissen ablenken. Testen Sie also, ob und wenn ja, welchen Einfluss das Entfernen bestimmter Elemente hat.

Überschrift testen

Gerade auf Landingpages spielt die Überschrift eine große Rolle. Sie muss sowohl direkt vermitteln, was hier verkauft wird, als auch den Vorteil des Angebots herausstellen. Überlegen Sie deshalb, wie diese beiden Faktoren in der Überschrift verbessert werden können:

  • Klarheit des Angebots
  • Wertversprechen (value proposition) des Angebots

Natürlich können und sollten beide Faktoren auch in anderen Elemente einer Website wie Aufzählungen, Fließtext oder Bildern getestet werden. Für einen ersten Test eignet sich die Überschrift jedoch sehr gut.

Vertrauen erweckende Elemente

Websites ohne bekannte Marke kämpfen oft mit dem Problem, dass Besucher ihnen nicht vertrauen. Sie sind unsicher, ob Waren auch wirklich geliefert werden oder ob Zahlungsdaten sicher sind. Testen Sie, ob Vertrauen erweckende Elemente wie Testsiegel oder Kundenbewertungen hier helfen können.

Unser Praxisguide „Vertrauen im Online-Shop schaffen“ zeigt Möglichkeiten und konkrete Beispiele, wie das Vertrauen in Online-Shops gesteigert werden kann.

6. Ideen sammeln und Hypothesen aufstellen

Der erste Test läuft. Das nächste Ziel sollte sein, Prozesse zu etablieren, wie mittel- und langfristig erfolgreich getestet werden kann. Wichtigste Grundlage hierfür sind viele gute Testideen, die später in Testhypothesen übersetzt werden.

6.1 Ideen sammeln

Erster Grundsatz hierfür: Speichern Sie alle Testideen und -hypothesen in einem zentralen Dokument. Auf diese Weise können alle Teammitglieder Ideen beisteuern und Hypothesen können einfach priorisiert werden (siehe nächstes Kapitel). Hier kann beispielsweise ein Google Sheet oder ein Kanban-Board zum Einsatz kommen.

Der Praxisguide „Kanban: Projektmanagement für A/B-Tests“ erklärt, wie die bekannte Kanban-Methode sinnvoll zur Planung von A/B-Tests eingesetzt werden kann.

In Anlehnung an den Begriff des „User Research“ aus der User-Experience- und Usability-Forschung werden alle Methoden, um Testideen zu sammeln, auch „Conversion Research“ genannt.

Diese Methoden können zum Einsatz kommen:

Qualitative Methoden

Quantitative Methoden

Best Practices / Expertenevaluation

Webanalyse-Daten

Wettbewerbsanalyse

In-Page-Analyse

Onsite-Befragungen von Besuchern und Kunden

Analyse technischer Probleme und Optimierung von Ladezeiten

Offsite-Befragungen von Kunden (zum Beispiel in Person oder am Telefon)

Aufmerksamkeitsanalyse

Chat-Logs und Befragungen von Support-/Sales-Team

Remote-Usability-Test

Labor-Usability-Test


Gehen Sie die Liste der Methoden durch und überprüfen Sie, welche für Ihre Website sinnvoll sind.

6.2 Hypothesen aufstellen

Die gesammelten Ideen müssen nun in Hypothesen umgewandelt werden, die in A/B-Tests überprüft werden können. Halten Sie sich hierbei an diese Grundsätze:

Nur einen Faktor ändern

Verändern Sie nicht gleichzeitig die Überschrift, das Bild und den Text einer Landingpage. Falls diese Testvarianten zu einer Steigerung der Conversion-Rate führt, wissen Sie nicht, welche Veränderung dies herbeigeführt hat.

Motivation statt Layout

Denken Sie nicht darüber nach, welches Layout der Website zu mehr Conversions führt, sondern darüber, wie Sie Besucher besser überzeugen können. Überlegen Sie beispielsweise nicht, welche Buttonfarbe die beste ist, sondern eher ob, Sie auf einer Landingpage viele oder wenige Informationen darstellen sollen.

Maximale Ausweitung

Angenommen die Hypothese lautet, dass Besucher dem Online-Shop nicht vertrauen. Dann testen Sie keine Testvariante mit Hinweis auf ekomi-Bewertungen unten im Footer. Führen Sie die Veränderung stattdessen prominenter durch, beispielsweise im Header und stellen das Element groß genug dar, damit es auch wahrgenommen wird.

Eine ausführlichere Beschreibung zum Aufstellen von Hypothesen finden Sie im Praxisguide „Hypothesen für A/B-Tests aufstellen.

7. Prozess zum Priorisieren von Hypothesen etablieren

Die zuvor gesammelte Liste an Hypothesen muss nun priorisiert werden. Nicht jede Hypothese verspricht eine ähnliche Steigerung der Conversion-Rate und des Umsatzes.

Die Priorität der einzelnen Hypothese kann mit dieser einfachen Formel bestimmt werden:

Priorität = Einfluss / Aufwand

Zu jeder Hypothese schätzen Sie also diese beiden Faktoren.

Der Einfluss einer Testvariante auf die Conversion-Rate wird unter anderem durch diese Faktoren bestimmt:

  • Anzahl der Besucher
  • Seitenkategorie, auf welche der Test laufen soll

Der Aufwand, um eine Testvariante zu testen, wird unter anderem durch diese Faktoren beeinflusst:

  • Dauer für Freigaben
  • Aufwand Grafikdesign
  • Aufwand Programmierung
  • Aufwand Qualitätssicherung

Im Praxisguide „Testhypothesen und -ideen priorisieren“ erläutern wir das konkrete Vorgehen für das Bestimmen der beiden Faktoren und vermitteln weiteres Hintergrundwissen.

8. Wireframes etablieren

Die zuvor gesammelten und priorisierten Hypothesen müssen jetzt in Testvarianten umgesetzt werden. Sie könnten Hypothesen an einen Webdesigner oder Webentwickler senden, sodass dieser sie in Photoshop oder HTML umsetzt.

Dieses Vorgehen ist jedoch nicht zu empfehlen! Skizzieren Sie die Testvariante lieber zuvor und lassen Sie diese Skizze dann umsetzen. Diese Skizzen werden auch Prototypen, Mockups oder Wireframes genannt. Alle drei Namen bezeichnen visuellen Beschreibungen, wie eine Testvariante aussehen soll.

Wireframe für das Dashboard eines ConversionBoosting-Accounts

Wenn Testhypothesen direkt umgesetzt werden, benötigen Sie mehrere Abstimmungsrunden, bis Sie die gewünschte Testvariante erhalten. Webdesigner oder -entwickler sind selten Experten für Conversion-Optimierung. Spezifizieren Sie die Testvarianten deshalb so genau wie möglich und ersparen Sie sich Zeit und Geld.

Diese Beschreibungen können entweder ganz einfach auf Papier, per PowerPoint oder mithilfe eines speziellen Wireframing-Tools (wie pidoco) erstellt werden.

Unsere Vortragsaufzeichung „Wireframes und Website-Prototypen erstellen mit pidoco“ beschreibt diesen Prozess ausführlicher und gibt viele konkrete Beispiele und Tipps.

9. Ressourcen im Webdesign und -entwicklung sicherstellen

9.1 Grafische Umsetzung

Falls der Wireframe neue grafische Elemente enthält, lassen Sie sich von einem Webdesigner helfen. Senden Sie den Wireframe an einen Webdesigner mit der Bitte, diesen umzusetzen. Weisen Sie unbedingt darauf hin, an welchen Stellen er/sie sich genau am Wireframe orientieren soll und wo er/sie selbst kreative Vorschläge einbringen soll.

9.2 Programmierung

Bevor der grafische Entwurf programmiert wird, muss erst entschieden werden, wie die technische Umsetzung des Tests erfolgen soll. Wird hier auf eine DOM-Manipulation zurückgegriffen, dann muss die Testvariante in JavaScript programmiert werden.

Wenn er dagegen als URL-Splittest umgesetzt wird, dann kann die Testvarianten in HTML und CSS programmiert werden.

Wir vergleichen die Vorteile beider Möglichkeiten in diesem Blogbeitrag: „Redirect oder DOM-Manipulation?“.

Einfache Testvarianten können auch per grafischen Editor (ein sogenannter „Point-and-Click-Editor“) umgesetzt werden. Diese Aufgabe kann vom Conversion Manager oder Webdesigner übernommen werden.

Der Praxisguide „Point&Click-Editoren: Nutzen und Limits in der Praxis“ zeigt, was es hierbei zu beachten gibt und wo diese Editoren nicht eingesetzt werden können.

Der Praxisguide „Testvarianten in JavaScript umsetzen zeigt, wie auch komplexere Testvarianten umgesetzt werden können.

10. Qualitätssicherung etablieren

Bevor ein Test gestartet wird, sollte unbedingt eine gründliche Qualitätssicherung durchgeführt werden. Für jede Testvariante sollten diese beiden Fragen beantwortet werden:

  • Wird die Testvariante in allen Browsern wie gewünscht dargestellt?
  • Funktioniert die Testvariante in allen Browsern?

Nicht ist schlimmer als eine Testvariante, deren Warenkorb-Button nicht funktioniert und Besucher deshalb nichts in den Warenkorb legen können. Verhindern Sie dies unbedingt! Neben unzufriedenen Besuchern haben Sie auch mit verlorenem Umsatz zu kämpfen.

Natürlich können beide Fragen nicht für alle Browser überprüft werden. Schauen Sie deshalb im Webanalyse-Toll nach, welche Browser am häufigsten verwendet werden.

Der Praxisguide „Qualitätssicherung von A/B-Tests“ beschreibt alle Prozesse und Methoden, wie eine Qualitätssicherung im Detail aussieht.

11. Ergebnisse dokumentieren

Das in Tests gesammelte Wissen sollte unbedingt festgehalten werden. Am Test beteiligte Personen wissen nach einigen Monate sicherlich nicht mehr, was genau getestet wurde und welche Ergebnisse erzielt wurden. Wenn dann noch Mitarbeiter das Unternehmen verlassen, ist das Wissen ohne ordentliche Dokumentation komplett verloren.

Nach dem Ende eines jeden Tests sollten Sie diesen deshalb ausführlich dokumentieren. Notieren Sie mindestens diese Eigenschaften:

  • Konfiguration des Testing-Tools
  • Motivation für Test
  • Hypothesen
  • Kontroll- und Testvarianten – inkl. Screenshots!
  • Ergebnisse und Interpretation
  • Gesammelte Erkenntnisse
  • Nächste Schritte basierend auf Ergebnissen

Die Dokumentation kann auf unterschiedliche Weisen erfolgenden: als Präsentation, in einer Tabellenkalkulation, per Textdokument oder gar in einem Wiki.

Praxisguide „A/B-Tests dokumentieren (inkl. Vorlage)„ vergleicht diese Möglichkeiten und erklärt ausführlich und an Beispielen, welche Eigenschaften eines Tests dokumentiert werden sollten. Mit der Vorlage können Sie unmittelbar mit der Dokumentation loslegen.

[1] Der Praxisguide „Ziele für A/B-Tests auf Landingpages definieren“ diskutiert diese Frage ausführlicher.

[2] Sowohl für Online-Shops/E-Commerce als auch für Landingpages/Lead-Generierung finden Sie unserer Wissensdatenbank alle passenden Dokumente.

ConversionBoosting