Praxisguide
Gute Hypothesen sind eine wichtige Voraussetzung für erfolgreiche A/B- und multivariate Tests. Nur wenn Hypothesen richtig aufgestellt und formuliert werden, können aus den Testergebnissen auch verlässlich Rückschlüsse gezogen werden.
In diesem Praxisguide erläutern wir deshalb, welche Anforderungen gute Hypothesen erfüllen müssen und erläutern diese mit Beispielen.
Autor
Julian Kleinknecht
Im weitesten Sinn ist eine Hypothese eine Behauptung, die noch nicht bewiesen oder mit genug Evidenz untermauert wurde. Gute Hypothesen sind eine wichtige Voraussetzung für erfolgreiche A/B- und multivariate Tests. Nur wenn Hypothesen richtig aufgestellt und formuliert werden, können aus den Testergebnisse auch verlässlich Rückschlüsse gezogen werden. Leider werden viel zu viele A/B-Tests ganz ohne oder ohne gute Hypothesen durchgeführt.
In diesem Praxisguide erläutern wir deshalb, welche Anforderungen gute Hypothesen erfüllen müssen. Es geht explizit nicht um die Frage, auf welcher Grundlage Hypothesen aufgestellt werden können. Stattdessen nehmen wir an, dass Sie zum Beispiel auf der Grundlage von Webanalyse-Daten, Heuristiken, Onsite-Umfragen oder einer Wettbewerbsanalyse eine grobe Idee haben, was Sie testen möchten.
In den nächsten Kapiteln stellen wir drei Kriterien vor, die eine gute Hypothese erfüllen muss. Gehen Sie diese Kriterien durch und formulieren Sie bestehende Hypothesen entsprechend um. Eine gute Hypothese …
Hypothesen sind Behauptungen über Ursache und Wirkung. „Wenn im Shop ein Hinweis auf die guten Bewertungen bei eKomi platziert wird, dann führt dies zu einer Steigerung der Conversion-Rate.“ ist eine solche Behauptung. Ursachen können bekanntlich nicht beobachtet werden. Um die obige Behauptung zu überprüfen, führen wir A/B-Tests durch.
Damit man nach Ende des Tests auch sicher sein kann, dass die in der Hypothese enthaltene Ursache die beschriebene Wirkung hat, darf die Hypothese nur eine Änderung an der Website enthalten. Anders gesagt: Es darf nur ein Faktor an der Website verändert werden.
Die Hypothese „Der prominente Hinweis auf eKomi-Bewertungen und das Entfernen der Cross-Selling-Elemente führen zu einer Steigerung der Conversion Rate.“ erfüllt diese Anforderung beispielsweise nicht.
In dieser Formulierung ist es offensichtlich, dass zwei Faktoren Teil der Hypothese sind. Dies ist aber nur der Fall, die Hypothese explizit formuliert wurde. Würde die Hypothese nicht explizit gemacht, wäre dies weniger deutlich.
Was aber ist mit einem Faktor gemeint? Dies bedeutet nicht, dass in der Testvariante nur ein abgegrenzter Bereich der Seite, beispielsweise die Überschrift, verändert werden darf. Mit einem Faktor ist stattdessen ein Thema gemeint, dass Besucher zur Conversions motiviert.
Um die Hypothese „Der prominente Hinweis auf die einfache Bedienung der beworbenen Software führt zu einer Steigerung der Conversion-Rate.“ zu bestätigen, können neben der Überschrift beispielsweise auch Elemente wie Bullet Points und Störer angepasst bzw. eingefügt werden.
Aus diesen Überlegungen ergeben sich diese beiden praktischen Folgerungen:
Besucher entscheiden sich auf Websites (ob bewusst oder unbewusst) dafür, eine Conversion durchzuführen oder nicht. Orientieren Sie deshalb Ihre Hypothesen an Motivationen von Besucher, zu konvertieren.
Es können zwei Arten von solchen Hypothesen unterschieden werden:
Hypothesen, die ein bestimmtes Problem lösen, sind zum Beispiel
Das Schema dieser Art von Hypothesen ist also immer:
[Identifiziertes Problem] durch [Lösung] beheben, führt zu [gewünschtes Ergebnis].
Hypothesen und Testvarianten lösen aber nicht immer ein Problem. Zwei Beispiele hierfür:
Besucher stoßen in beiden Fällen auf keine Probleme bei der Bedienung der Website. Stattdessen werden andere Arten der Besucheransprache getestet.
Vermeiden Sie jedoch Hypothesen in Form von Änderungen am Layout der Seite zu formulieren. Beispielsweise so:
Das Problem dieser Art von Hypothesen ist, dass sie keine Erklärung anbieten, weshalb die Testvariante besser sei. Am Ende des Tests haben Sie nichts über Ihre Besucher gelernt.
In A/B-Tests gemessene Ergebnisse sollten nicht dem Zufall, sondern dem Einfluss der Testvarianten geschuldet sein. Deshalb setzen alle professionellen Testing-Tools statistische Methoden ein. Diese überprüfen (grob gesagt), ob der Unterschied der Conversion-Rate so hoch ist, dass er nicht zufällig zustande gekommen ist.
Damit es aber einen signifikanten Unterschied der Conversion-Rate gibt, muss es auch einen signifikanten Unterschied in den Testvarianten geben. Kleine Änderungen führen nur in ganz seltenen Fällen zu Steigerungen der Conversion-Rate.
Wie schafft man es, Testvarianten mit großen Veränderungen zu konzipieren? Indem man beim Formulieren der Hypothese auf das Prinzip der maximalen Ausweitung setzt.
Angenommen Sie befürchten, dass Besucher Ihrem Online-Shop nicht vertrauen, da er noch unbekannt ist. Sie stellen daher die Hypothese „Die Platzierung von Vertrauen erweckenden Elemente führt zu einer Steigerung der Conversion-Rate.“ auf.
Vertrauen erweckende Elemente gibt es jedoch viele: Testimonials, Kundenbewertungen oder Siegel von unabhängigen Instituten wie der Stiftung Warentest. [2] Wenden Sie das Prinzip der maximalen Ausweitung an und platzieren Sie alle sinnvollen Elemente. Auf diese Weise können Sie sichergehen, dass Besucher die Elemente wahrnehmen.
Ein anderes Beispiel. Angenommen Sie spekulieren, dass Ihre Landingpage zu viele Informationen vermittelt und deshalb unübersichtlich wirkt. Die maximale Ausweitung dieser Hypothese ist, dass alle Bereiche der Landingpage vereinfacht werden, nicht nur einen Teil davon.
[1] Unser Praxisguide „Point&Click-Editoren: Nutzen und Limits in der Praxis“ diskutiert den Einsatz dieser visuellen Editoren ausführlich.
[2] Der Praxisguide „Vertrauen im Online-Shop schaffen“ gibt einen Überblick über alle möglichen Methoden.
