Praxisguide

Gute Hypothesen für A/B-Tests aufstellen

Gute Hypothesen sind eine wichtige Voraussetzung für erfolgreiche A/B- und multivariate Tests. Nur wenn Hypothesen richtig aufgestellt und formuliert werden, können aus den Testergebnissen auch verlässlich Rückschlüsse gezogen werden.

In diesem Praxisguide erläutern wir deshalb, welche Anforderungen gute Hypothesen erfüllen müssen und erläutern diese mit Beispielen.

1. Einleitung

Im weitesten Sinn ist eine Hypothese eine Behauptung, die noch nicht bewiesen oder mit genug Evidenz untermauert wurde. Gute Hypothesen sind eine wichtige Voraussetzung für erfolgreiche A/B- und multivariate Tests. Nur wenn Hypothesen richtig aufgestellt und formuliert werden, können aus den Testergebnisse auch verlässlich Rückschlüsse gezogen werden. Leider werden viel zu viele A/B-Tests ganz ohne oder ohne gute Hypothesen durchgeführt.

In diesem Praxisguide erläutern wir deshalb, welche Anforderungen gute Hypothesen erfüllen müssen. Es geht explizit nicht um die Frage, auf welcher Grundlage Hypothesen aufgestellt werden können. Stattdessen nehmen wir an, dass Sie zum Beispiel auf der Grundlage von Webanalyse-Daten, Heuristiken, Onsite-Umfragen oder einer Wettbewerbsanalyse eine grobe Idee haben, was Sie testen möchten.

In den nächsten Kapiteln stellen wir drei Kriterien vor, die eine gute Hypothese erfüllen muss. Gehen Sie diese Kriterien durch und formulieren Sie bestehende Hypothesen entsprechend um. Eine gute Hypothese …

  • … zeigt die Ursache und Wirkung einer Testvariante auf (siehe 2. Kapitel).
  • … beschreibt die Motivation und das Verhalten von Besuchern (siehe 3. Kapitel)
  • … beschreibt große Änderungen statt nur kleinen Veränderungen (siehe 4. Kapitel)

2. Nur einen Faktor ändern

2.1 Ursache und Wirkung identifizieren

Hypothesen sind Behauptungen über Ursache und Wirkung. „Wenn im Shop ein Hinweis auf die guten Bewertungen bei eKomi platziert wird, dann führt dies zu einer Steigerung der Conversion-Rate.“ ist eine solche Behauptung. Ursachen können bekanntlich nicht beobachtet werden. Um die obige Behauptung zu überprüfen, führen wir A/B-Tests durch.

Damit man nach Ende des Tests auch sicher sein kann, dass die in der Hypothese enthaltene Ursache die beschriebene Wirkung hat, darf die Hypothese nur eine Änderung an der Website enthalten. Anders gesagt: Es darf nur ein Faktor an der Website verändert werden.

Die Hypothese „Der prominente Hinweis auf eKomi-Bewertungen und das Entfernen der Cross-Selling-Elemente führen zu einer Steigerung der Conversion Rate.“ erfüllt diese Anforderung beispielsweise nicht.

In dieser Formulierung ist es offensichtlich, dass zwei Faktoren Teil der Hypothese sind. Dies ist aber nur der Fall, die Hypothese explizit formuliert wurde. Würde die Hypothese nicht explizit gemacht, wäre dies weniger deutlich.

2.2 Was ist ein Faktor?

Was aber ist mit einem Faktor gemeint? Dies bedeutet nicht, dass in der Testvariante nur ein abgegrenzter Bereich der Seite, beispielsweise die Überschrift, verändert werden darf. Mit einem Faktor ist stattdessen ein Thema gemeint, dass Besucher zur Conversions motiviert.

Um die Hypothese „Der prominente Hinweis auf die einfache Bedienung der beworbenen Software führt zu einer Steigerung der Conversion-Rate.“ zu bestätigen, können neben der Überschrift beispielsweise auch Elemente wie Bullet Points und Störer angepasst bzw. eingefügt werden.

 

2.3 Praktische Folgerungen

Aus diesen Überlegungen ergeben sich diese beiden praktischen Folgerungen:

  • Verändern Sie nicht einfach irgendwelche Elemente einer Seite – auch wenn Click-and-Point-Editoren dies möglich machen. [1]
  • Entwickeln Sie keine Testvarianten basierend auf Hypothesen, wenn nicht klar ist, welche Erkenntnisse aus ihm gewonnen werden können.

3. Aus Nutzersicht statt aus Layout

Besucher entscheiden sich auf Websites (ob bewusst oder unbewusst) dafür, eine Conversion durchzuführen oder nicht. Orientieren Sie deshalb Ihre Hypothesen an Motivationen von Besucher, zu konvertieren.

Es können zwei Arten von solchen Hypothesen unterschieden werden:

  • Hypothesen, die ein bestimmtes Problem von Besuchern lösen
  • Hypothesen, die Besucher auf eine andere Weise versuchen zu überzeugen

3.1 Basierend auf Problemen, auf die Besucher stoßen

Hypothesen, die ein bestimmtes Problem lösen, sind zum Beispiel

  • „Die Platzierung des Trusted-Shop-Siegels führt zu mehr Vertrauen in den Shop und dadurch zu einer höheren Conversion-Rate.“ (identifiziertes Problem: fehlendes Vertrauen)
  • „Mehr Weißraum macht die Landingpage übersichtlicher und führt deshalb zu einer höheren Conversion-Rate.“ (identifiziertes Problem: mangelnde Übersichtlichkeit)
  • „Die Platzierung von Hinweisen, wie weit oder eng Schuhe ausfallen, nimmt den Besuchern Bedenken, dass Schuhe nicht passen und führt zu einer Steigerung der Conversion-Rate.“ (identifiziertes Problem: Bedenken, dass Schuhe dem Käufer nicht passen)

Das Schema dieser Art von Hypothesen ist also immer:

 

[Identifiziertes Problem] durch [Lösung] beheben, führt zu [gewünschtes Ergebnis].

3.2 Basierend auf anderen Weisen zu überzeugen

Hypothesen und Testvarianten lösen aber nicht immer ein Problem. Zwei Beispiele hierfür:

  • „Die Darstellung des monatlichen Preises führt zu einer höheren Conversion-Rate.“ (wo aktuell der jährliche Preis kommuniziert wird)
  • „Das Hervorheben der Umweltfreundlichkeit führt zu einer Steigerung der Conversion-Rate.“ (wo aktuell die monetären Ersparnisse der Photovoltaikanlage kommuniziert werden.)

Besucher stoßen in beiden Fällen auf keine Probleme bei der Bedienung der Website. Stattdessen werden andere Arten der Besucheransprache getestet.

3.3 Layout-Hypothesen

Vermeiden Sie jedoch Hypothesen in Form von Änderungen am Layout der Seite zu formulieren. Beispielsweise so:

  • „Ein grüner Button führt zu einer Conversion-Rate-Steigerung.“
  • „Das Bild rechts (statt links) auf der Landingpage führt zu mehr Conversions.“

Das Problem dieser Art von Hypothesen ist, dass sie keine Erklärung anbieten, weshalb die Testvariante besser sei. Am Ende des Tests haben Sie nichts über Ihre Besucher gelernt.

4. Große Veränderungen testen

In A/B-Tests gemessene Ergebnisse sollten nicht dem Zufall, sondern dem Einfluss der Testvarianten geschuldet sein. Deshalb setzen alle professionellen Testing-Tools statistische Methoden ein. Diese überprüfen (grob gesagt), ob der Unterschied der Conversion-Rate so hoch ist, dass er nicht zufällig zustande gekommen ist.

Damit es aber einen signifikanten Unterschied der Conversion-Rate gibt, muss es auch einen signifikanten Unterschied in den Testvarianten geben. Kleine Änderungen führen nur in ganz seltenen Fällen zu Steigerungen der Conversion-Rate.

Wie schafft man es, Testvarianten mit großen Veränderungen zu konzipieren? Indem man beim Formulieren der Hypothese auf das Prinzip der maximalen Ausweitung setzt.

Angenommen Sie befürchten, dass Besucher Ihrem Online-Shop nicht vertrauen, da er noch unbekannt ist. Sie stellen daher die Hypothese „Die Platzierung von Vertrauen erweckenden Elemente führt zu einer Steigerung der Conversion-Rate.“ auf.

Vertrauen erweckende Elemente gibt es jedoch viele: Testimonials, Kundenbewertungen oder Siegel von unabhängigen Instituten wie der Stiftung Warentest. [2] Wenden Sie das Prinzip der maximalen Ausweitung an und platzieren Sie alle sinnvollen Elemente. Auf diese Weise können Sie sichergehen, dass Besucher die Elemente wahrnehmen.

Ein anderes Beispiel. Angenommen Sie spekulieren, dass Ihre Landingpage zu viele Informationen vermittelt und deshalb unübersichtlich wirkt. Die maximale Ausweitung dieser Hypothese ist, dass alle Bereiche der Landingpage vereinfacht werden, nicht nur einen Teil davon.

[1] Unser Praxisguide „Point&Click-Editoren: Nutzen und Limits in der Praxis“ diskutiert den Einsatz dieser visuellen Editoren ausführlich.

[2] Der Praxisguide „Vertrauen im Online-Shop schaffen“ gibt einen Überblick über alle möglichen Methoden.

ConversionBoosting