Praxisguide

Testhypothesen und -ideen priorisieren

Zusätzlich zu eigenen Analysen erhalten Verantwortliche der Conversion-Optimierung aus anderen Abteilungen jede Menge Ideen, wie die Website oder der Online-Shop verbessert werden kann. Statt nun gedankenlos damit zu beginnen, irgendeine der Hypothese zu testen, sollten Sie priorisieren, welche Hypothesen denn zuerst überprüft werden sollen.

Dieser Praxisguide zeigt, wie Sie am besten vorgehen.

1. Einleitung

Verantwortliche für Conversion-Optimierung und Websites in Unternehmen erhalten von Vorgesetzten und Kollegen aus anderen Abteilungen jede Menge Input und Ideen, wie die Website oder der Online-Shop verbessert werden kann. Zusätzlich führt die Conversion-Abteilung noch aktiv eigene Analysen (unter anderem auf Basis von Webanalyse-Daten, Konkurrenzanalysen oder Remote-Usability-Tests) durch, um Ideen und Hypothesen für Tests zu generieren.

Statt gedankenlos damit zu beginnen, irgendeine der gesammelten Hypothesen zu testen, sollten priorisiert werden, welche Hypothesen zuerst überprüft werden sollten. Jeder Tag, der ohne laufende Tests oder mit einem wenig aussichtsreichen Test verbracht wird, ist ein verlorener Tag. In dieser Zeit hätten schon Erkenntnisse über Besucher und Steigerungen der Conversion Rate, des Umsatzes oder andere Ziele erreicht werden können!

Dieser Praxisguide erläutert Schritt für Schritt, wie Sie diese Aufgabe am besten erledigen. Diese Themen werden besprochen:

  • Welche Arten von Hypothesen gibt es? Und welche sollten priorisiert werden? (Kapitel 2)
  • Die Priorität einer Hypothese ist das Ergebnis deren geschätzten Einflusses und des Aufwands, sie umzusetzen (Kapitel 3)
  • Anhand welcher Faktoren kann der Einfluss geschätzt werden? (Kapitel 4)
  • Anhand welcher Faktoren kann der Aufwand geschätzt werden? (Kapitel 5)
  • Ist der Faktor Einfluss oder Aufwand für die Bewertung der Priorität wichtiger? (Kapitel 6)

Nachdem Sie die gesammelten Hypothesen priorisiert haben, gilt es darauf basierend einen Testplan zu entwickeln. Dieser definiert,

  • welche Elemente und Eigenschaften
  • auf welcher Seitenkategorie (Produktdetailseite, Checkout, Kategorieseiten, etc.)
  • in welcher Reihenfolge
  • und wie lange

getestet werden sollen.

Wie Sie dies am besten bewerkstelligen und welche Hindernisse es zu überwinden gibt, erläutern wir ausführlich im Praxisguide „Agile Roadmaps für Website-Tests“.

2. Was priorisieren?

Was ist es denn genau, was priorisiert werden soll?

Um diese Frage zu beantworten, hilft die folgende Unterscheidung, welche alle eingebrachten Ideen und Hypothesen in drei Kategorien einteilt.

2.1 Drei verschiedene Arten von Ideen/Hypothesen

2.1.1 Ideen

Die erste Art von Ideen bezieht sich auf Seitentypen oder Prozesse. Beispiele sind „Beim Kundendienst beschweren sich Kunden häufig über unseren Checkout.“ oder „Die Bounce Rate auf unseren Landing Pages ist sehr hoch.“ Diese Ideen lassen sich nur schwer in eine Hypothese überführen, die verifiziert oder falsifiziert werden könnte. Es muss noch Arbeit investiert werden, um herauszufinden, welche Elemente oder Eigenschaften des Checkouts problematisch sind und getestet werden sollten.

2.1.2 Allgemeine Hypothesen

Auf eben diese Elemente oder Eigenschaften bestimmter Seitenkategorien bezieht sich die zweite Art von Idee. Ein Beispiel hierfür ist „Besucher erhalten auf unseren Landing Pages nicht genügend Informationen.“ Im Gegensatz zur vorherigen Idee wird hier das Problem genannt. Wir nennen diese Ideen „allgemeine Hypothesen“, da sie sich zwar auf ein bestimmtes Element bzw. eine bestimmte Eigenschaft (Informationsgehalt) der Website beziehen, jedoch noch keine konkrete Lösung anbietet. In den meisten Fällen wird es mehrere mögliche Lösungen – und damit Testvarianten – geben.

2.1.3 Konkrete Hypothesen

Diese Lösungen sind dann in der dritten Art von Ideen – den konkreten Hypothesen – enthalten. Zwei konkrete Hypothesen zur vorigen allgemeinen Hypothesen könnten beispielsweise so lauten:

  • Zusätzlicher erklärender Text führt zu einer Steigerung der Conversion Rate.
  • Ein Erklärvideo führt zu einer Steigerung der Conversion Rate.

2.2 Was gibt es zu priorisieren?

Mithilfe dieser Unterscheidung kann nun die eingangs gestellte Frage beantwortet werden.

Letztendlich kann nur ein Test gleichzeitig laufen. Mehrere konkrete Hypothesen (wie „Zusätzlich erklärender Text führt zu einer Steigerung der Conversion Rate“ und „Ein Erklärvideo führt zu einer Steigerung der Conversion Rate“) müssen also zu einem Test zusammengefasst werden. In diesem Test kann die entsprechende allgemeine Hypothese („Besucher erhalten auf unseren Landing Pages nicht genügend Informationen.“) wiederlegt bzw. bestätigt werden.

Daher gilt: Allgemeine Hypothesen sollte priorisiert werden. Um dies zu tun, müssen jedoch zuerst die entsprechenden konkreten Hypothesen vorliegen. Wenn für diesen Aufwand und Einfluss (siehe nächstes Kapitel) bekannt sind, können die Werte der konkreten Hypothesen kombiniert werden, um die Priorität der allgemeinen Hypothese zu erhalten.

Abgeleitet aus der Unterscheidung kann zusätzlich für die Konzeption festgehalten werden.

Erstens: Es sollten so viele verschiedene Ausprägungen einer allgemeinen Hypothese wie möglich getestet werden. Zu „Besucher erhalten auf unseren Landing Pages nicht genügend Informationen“ könnten diese konkreten Hypothesen getestet werden:

  • zusätzlicher erklärender Text vs.
  • Erklärvideo vs.
  • erklärende Grafiken

Zweitens: Falls noch nicht vorhanden, sollten aus einer konkreten Hypothese die entsprechende allgemeine abgeleitet werden und dann weitere konkrete Hypothesen abgeleitet werden.

3. Priorität = Einfluss / Aufwand

Wie kann nun die Priorität einer konkreten Hypothese bestimmt werden? Zwei Faktoren spielen eine Rolle:

  1. Wie hoch ist der Einfluss, den man sich auf die zuvor definierten Ziele verspricht?
  2. Wie aufwändig ist die auf der Hypothese basierende Testvariante umzusetzen?

3.1 Priorität vs. Reihenfolge im Testplan

Es gibt noch weitere Faktoren, welche die Reihenfolge bestimmten, in den Tests schlussendlich durchgeführt werden sollen. Dazu gehören unter anderem diese Faktoren:

  • Präferenzen von Vorgesetzten
  • dass zur Ressourcenplanung aufwändige mit einfacheren Tests abgewechselt werden sollten
  • welche Nachfolgetests wann durchgeführt werden sollen

Wir unterscheiden zwischen der „idealisierten“ Priorität, welche in diesem Praxisguide beschrieben wird, und der tatsächlichen Reihenfolge der Tests, welche u.a. von obigen Faktoren beeinflusst wird.

Indem man den Prozess in zwei Schritte aufteilt, macht man ihn einfacher. Statt also anhand aller Faktoren (Einfluss, Aufwand, Präferenz Vorgesetzter, Abwechslung „kleine“ und große“ Tests, Nachfolgertests, usw.) auf einmal die Reihenfolge festzulegen, wird zuerst die Priorität von Hypothesen ermittelt. Das Ergebnis könnte letztendlich so aussehen:

Hypothese

Priorität

Hypothese 1

76

Hypothese 2

52

Hypothese 3

89

Jetzt kann die Reihenfolge (Hypothese 3, dann 1, dann 2) mithilfe der anderen Faktoren gegebenenfalls angepasst werden. Unsere Praxisguide „Agile Roadmaps für Website-Tests“ zeigt, wie dies funktioniert.

3.2 Grafische Darstellung

In einem Koordinatensystem kann die Abhängigkeit von Einfluss und Aufwand wie folgt dargestellt werden:

Jeder Hypothese wird also durch ihre Platzierung im Diagramm eine bestimmte Priorität zugeordnet. Dieser Wert entspricht den hier grau eingefärbten Flächen. Da ein niedriger Einfluss zu einer höheren Priorität führt, ist die y-Achse „umgekehrt“.

Beispielhaft wurden zwei allgemeine Hypothesen, welche zwei Extreme repräsentieren, platziert: einerseits eine Hypothese bezüglich Share-Buttons und andererseits eine bezüglich einer komplett anderen Aufteilung einer Landing Page. Die Umsetzung ersterer Hypothese ist mit relativ geringem Aufwand verbunden, hat jedoch auch einen geringen Einfluss auf die Conversion Rate. Der entsprechende Punkt ist deshalb links oben platziert. Änderungen an der Aufteilung der Seite sind dagegen aufwändig, haben jedoch einen größeren Einfluss. Diese Hypothese ist also rechts unten positioniert.

Beide Werte können natürlich nur schwer geschätzt werden. Gerade weil der Einfluss auf die Ziele unbekannt ist, werden schließlich Tests durchgeführt. In den nächsten beiden Unterkapiteln geben wir jedoch Hinweise, wie diese Aufgabe angegangen werden kann. Die generelle Strategie besteht darin, Einfluss und Aufwand in kleinere Einheiten zu zerlegen, welche dann einfacher geschätzt werden können.

4. Einfluss auf Ziele schätzen

Diese fünf Fragen helfen, den Einfluss einer Hypothese einzuschätzen:

  • Wie viele Besucher werden am Test teilnehmen (Kapitel 4.1)?
  • Wie stark ist der Einfluss der zu testenden Seite auf Entscheidungen der Besucher (Kapitel 4.2)?
  • Wie stark ist der Einfluss des zu testenden Elements auf Entscheidungen der Besucher (Kapitel 4.3)?
  • Stellt die Hypothese eine starke Veränderung dar (Kapitel 4.4)?
  • Löst die Hypothese ein augenscheinliches Problem (Kapitel 4.5)?

In diesem Kapitel erläutern wir alle fünf Kriterien und beschreiben, wie Sie diese auf Ihre Website anwenden können.

Unsere passende Excel-Vorlage hilft die Einschätzungen zur eigenen Website zu dokumentieren und daraus Prioritäten zu berechnen. Die Vorlage wird im Folgenden auch zur Erläuterung der Beispiele verwendet. Als beispielhafte Hypothese wurden diese gewählt:

Screenshot aus Excel-Vorlage

4.1 Wie viele Besucher werden am Test teilnehmen?

Zunächst scheint es so, als ob diese Frage schnell beantwortet ist:

  • Der Test soll drei Wochen laufen.
  • Laut Webanalyse-Tool waren in den letzten drei Wochen 10.000 Besucher auf der Website.
  • Also nehmen auch 10.000 Besucher am Test teil.

Es gibt zwei Faktoren, welche dazu führen, dass weniger Besucher an Tests teilnehmen und der Einfluss geringer eingeschätzt werden muss.

4.1.1 Tests nur für bestimmte Segmente

In diesem Szenario wird nur ein bestimmtes Segment, zum Beispiel ausschließlich SEA-Traffic, getestet. Das heißt, Besucher anderer Traffic-Quellen wie Display oder der organischen Suche werden per Targeting vom Test ausgeschlossen.

Prinzipiell ist dieser Ansatz nicht empfehlenswert. Statt nur bestimmten Traffic zu testen, sollten lieber alle Besucher in den Test aufgenommen werden und im Nachhinein die Ergebnisse segmentiert werden. Bei diesem Vorgehen müssen im Vorhinein keine ungeprüften Annahmen gemacht werden, welche Testvarianten für welches Segmentiert am besten funktioniert.

Angenommen ein Test wird trotzdem – möglicherweise aus politischen Gründen – nur auf SEA-Traffic beschränkt. Falls SEA für 50% der Besucher verantwortlich ist, dann sollte auch der zu erwartende Einfluss halbiert werden:

vor Test nach Test
SEA Conversion Rate: 2% [1]

Conversion Rate: 3%
Steigerung: +50%
Gesamter Traffic Conversion Rate: 2% Conversion Rate: 2,5%
Steigerung: 25%

Die gleiche Rechnung gilt natürlich auch für andere Segmente wie neue vs. wiederkehrende Besucher.

Falls Sie Segmente testen, schauen Sie im Webanalyse-System nach, wie hoch deren Anteil am Gesamt-Traffic ist.

4.1.2 Online-Shop: Tests auf Seitenkategorien

Viele Tests in Online-Shops werden nur auf bestimmten Seiten (Produktdetailseite, Kategorieseite, Checkout, usw.) durchgeführt. Wenn also beispielsweise 30% aller Besucher die Produktdetailseite zu Gesicht bekommen, dann können mit einem Test der Produktdetailseite auch entsprechend nur 30% der Besucher „beeinflusst“ werden.
Die Rechnung ist also analog zur Rechnung der Segmente oben:

vor Test nach Test
Besucher der Produktdetailseite Conversion Rate: 2% Conversion Rate: 3%
Steigerung: +50%
Gesamter Traffic Conversion Rate: 2% Conversion Rate: 2,3%
Steigerung: 15%

 Noch krasser ist die Rechnung beim Checkout. Falls nur 10% der Besucher diesen erreichen und eine Steigerung von 5% erzielt wird, ist der Einfluss auf die Gesamt-Conversion-Rate 10% * 5% = 0,5%. Andererseits lassen sich Steigerungen im Checkout möglicherweise einfacher erzielen, da Besucher schon die Intention haben zu kaufen, sie aber möglicherweise wegen mangelndem Vertrauen in den Shop dann doch nicht bestellen.

Bei einem seitenübergreifenden Element wie dem Header wird der Einfluss dagegen nicht reduziert. Auch auf klassische Landing Pages zum Beispiel für Versicherungen oder Banken, die nur aus einer Seite + Vielen-Dank-Seite bestehen, trifft dieses Szenario nicht zu.

Schauen Sie im Webanalyse-System nach, wie viele der Besucher die Seitenkategorie der Hypothese aufrufen. Jeder Besucher mit mindestens einem Aufruf der Produktdetailseite fällt in diese Kategorie.

In die Excel-Vorlage tragen wir also die Prozentzahl der Besucher ein, welche die Testvariante zu Gesicht bekommen werden. Da wir annehmen, dass der komplette Traffic getestet wird und 30% der Besucher die Produktdetailseite sehen, tragen wir 1 * 0,3  in die Vorlage ein.

4.2 Einfluss der Seitenkategorie auf Entscheidungen

Unabhängig davon, wie viele Besucher die Seitenkategorie überhaupt zu Gesicht bekommen, sollten Sie sich fragen, welchen Einfluss die gewählte Seitenkategorie auf Entscheidungen der Besucher hat.

Angenommen Besucher verbringen die meiste Zeit und die meisten Pageviews auf Produktdetailseiten. Die ist ein Anzeichen dafür, dass Entscheidungen wie Kaufen vs. nicht Kaufen und Auf dem Shop bleiben vs. Abspringen dort getroffen werden.

Bei anderen Shops könnten Kategorieseiten dagegen wichtiger sein, da im Shop eine sehr große Auswahl besteht und viele Besucher noch nicht wissen, was sie genau kaufen möchten. Seitenaufrufe der Kategorieseiten wären in diesem Fall hoch.

Schauen Sie im Webanalyse-System nach, wie viele Seitenaufrufe und verbrachte Zeit die Seitenkategorie der Hypothese aufweisen.

In unserem Beispiel nehmen wir an, dass die Produktdetailseite viele Seitenaufrufe aufweist und vergeben den Maximalwert von 5:

Natürlich sind diese Überlegungen spekulativ und es gibt viele Ausnahmen:

  • Vielleicht haben Kategorieseite so eine hohe time on page, weil sie schlecht zu bedienen waren und Besucher Produkte nicht gefunden haben.
  • Natürlich haben SEA-Einstiegsseiten viele Seitenaufrufe, da der komplette SEA-Traffic dort hingeschickt wird

Es können also nur schwer allgemeine Aussagen getroffen werden. Stattdessen müssen alle Fälle individuell betrachtet und abgewägt werden.

4.3 Einfluss des zu testenden Elements

Nicht jedes Element einer Seite hat den gleichen Einfluss auf Entscheidungen. Auf Landing Pages hat eine prominent platziert und große Überschrift einen größeren Einfluss als weit unten platzierter Fließtext. Auf Produktdetailseiten im Online-Shop haben Produktbilder einen größeren Einfluss als Share-Buttons.

Als Regel kann gelten: je größer das Element und je weiter oben platziert, desto größer der Einfluss. Wenn also eine Überschrift getestet werden soll, erhält die Hypothese in dieser Kategorie einen hohen Wert.

Der Einfluss der Elemente unterscheidet sich von Branche zu Branche. Während die Bedeutung von Produktbildern in Elektronik-Shops eher gering ist, verhält sich dies in einem exklusiven Mode-Shop anders. Dort wird der Einfluss der Produktbilder wohl mit dem Maximalwert 5 bewertet.

4.4 Größe der Veränderung

Je größer die vorgeschlagene Veränderung der konkreten Hypothese, desto höher ist die Wahrscheinlichkeit eines Einflusses auf die Ziele.

Wenn auf einer Produktdetailseite vier statt drei Produktempfehlungen angezeigt werden, dann kann dies als minimale Veränderung angesehen werden. Wenn dagegen doppelt so große Produktbilder wie vorher angezeigt werden, dann ist dies eine große Veränderung.

Angenommen die Produktbilder werden in unserem Beispiel nicht in der Größe verdoppelt, sondern doch 50% vergrößert. Die Stärke dieser Änderung bewerten wir mit 3 von 5 Punkten.

4.5 Gibt es ein augenscheinliches Problem?

Falls Hinweise dafür vorliegen, dass eine Hypothese ein konkretes Problem löst, mit dem Besucher aktuell zu kämpfen haben, dann spricht das dafür, dass die Hypothese einen positiven Einfluss auf die Ziele haben wird. Anders gesagt: es gibt Hinweise dafür, dass Potential für Verbesserungen vorhanden ist.

Probleme können sowohl auf quantitative als auch auf qualitative Weise erkannt werden. Quantitative Hinweise können unter anderem sein:

  • eine hohe Absprungrate (bounce rate) bei Einstiegsseiten,
  • eine hohe Ausstiegsrate (exit rate) in Trichtern wie dem Checkout [2]
  • eine hohe Korrigierrate bei Formularfeldern

Qualitative Hinweise könnten sein:

  • Viele Besucher weisen darauf bei Onsite-Umfragen hin. [3]
  • Bei Remote-Usability-Tests wurde auf das Problem hingewiesen. [4]
  • Beim Kundendienst beschweren sich viele Anrufer über das Problem.
  • Bei der Session-Wiedergabe wird das Problem sichtbar. [5]

Falls es also Anhaltspunkte für ein augenscheinliches Problem gibt, dann erhält die Hypothese einen hohen Wert in dieser Kategorie.

Unser Beispiel basiert auf keinem dieser Anhaltspunkte. Als Wert wird deshalb 0 von maximal 25 Punkten festgelegt:

4.6 Formel für geschätzten Einfluss

Die Formel zur Berechnung des geschätzten Einflusses aus den Einzelteilen lautet:

Einfluss = Anzahl Testteilnehmer * (Einfluss Seitenkategorie * Einfluss Element * Größe der Veränderung + Problem vorhanden?)

Zur Erklärung:

  • Die Anzahl der Testteilnehmer ist ein Prozentwert und fungiert als Faktor vor den restlichen Kriterien. Wenn nur 30% der Besucher am Test teilnehmen, können die restlichen 70% davon gar nicht beeinflusst werden.
  • Einfluss der Seitenkategorie, Einfluss des Elements und Größe der Veränderung werden alle miteinander multipliziert. Das führt dazu, dass in allen drei Kriterien ein relativ hoher Wert benötigt wird, um das Produkt der drei Werte nicht nach unten zu ziehen. Dies ist sinnvoll, denn wenn eine Seitenkategorie ohne Besucher, eine Elemente ohne Einfluss oder eine minimale Veränderung getestet wird, wird dies keinen Einfluss auf die Conversion Rate oder andere Ziele haben.
  • Schließlich gibt es einen Bonus, wenn ein vorhandenes Problem direkt gelöst wird.

5. Aufwände schätzen

Wie auch beim Schätzen des Einflusses kann der Aufwand in kleinere Teile „zerlegt“ werden, welche einfacher zu schätzen sind. Gemäß dem Prozess von der Hypothese zur fertigen Testvariante sind Aufwände für die folgenden Aufgaben abzuschätzen:

  • Freigaben einholen (Kapitel 5.1)
  • Konzeption der Testvariante (Kapitel 5.2)
  • Grafische Entwicklung / Webdesign (Kapitel 5.3)
  • Programmierung Frontend (Kapitel 5.4)
  • Programmierung Backend (Kapitel 5.5)
  • Qualitätssicherung (Kapitel 5.6)

Schätzen Sie für jede dieser Aufgaben die benötigte Zeit in Stunden. Wieder tragen Sie diese Informationen in unsere Vorlage ein.

Nehmen Sie dafür frühzeitig mit Webdesignern, Entwicklern und anderen beteiligten Personen Kontakt auf, um deren Einschätzung zu hören.

5.1 Freigaben einholen

Freigaben für Hypothesen, Wireframes und grafische Entwürfe einzuholen ist nervig, aber notwendig. Wie aufwändig das Einholen der Freigaben ist, hängt von diesen drei Faktoren ab:

  • Von wie vielen Personen müssen Freigaben eingeholt werden?
  • Welche Ergebnisse müssen freigegeben werden (Hypothesen, Wireframes, grafische Entwürfe, fertige Testvarianten im Testing-Tool)?
  • Wie viele Änderungswünsche/-anfragen wird es geben, bevor etwas freigegeben wird?

Auf die ersten beiden gibt es klare faktische Antworten. Die dritte Frage muss dagegen basierend auf der Erfahrung mit bisherigen Freigabeprozessen beantwortet werden.

In unserer beispielhaften Excel-Datei haben wir den Aufwand für Freigaben auf drei Stunden geschätzt. Da Produktbilder zentral sind, gibt es hier möglicherweise viel Überzeugungsarbeit.

5.2 Konzeption

Wie lange wird es dauern bis eine Hypothese in eine Testvariante in Form eines Wireframes umgesetzt ist? Basierend auf der Erfahrung des Conversion-Teams sollte diese Frage recht einfach zu beantworten sein.

Ein wichtiger Faktor, um den Aufwand für die Konzeption einzuschätzen ist, ob die Hypothese aus eigenen Analysen generiert wurde oder von extern (Kollegen und Vorgesetzte) eingereicht wurde. Wenn beispielsweise schon eine Wettbewerbsanalyse durchgeführt wurde und Session-Wiedergaben angesehen wurden, dann gelingt es sehr viel schneller Wireframes zu Hypothesen umzusetzen.

Da Produktbilder nur größer dargestellt werden können. Deshalb schätzen wie die Aufwand für die Konzeption gering.

5.3 Grafik

Falls grafische Änderungen notwendig sind, müssen diese von Webdesignern umgesetzt werden. Je komplexer diese sind, desto mehr Aufwand bedeutet dies für den Grafiker.

In der Excel-Datei tragen wir 0 Stunden ein, da keine grafische Arbeit für die Umsetzung der Hypothese der größeren Produktbilder benötigt wird.

5.4 Entwicklung Frontend

Wie viele Stunden Entwicklungszeit wird es benötigen, bis der Wireframe oder grafische Entwurf per JavaScript im Testing-Tool umgesetzt ist?

Falls Änderungen per Point-and-Click-Editor [6] umgesetzt werden können, tragen Sie nur eine sehr geringe Anzahl an Stunden ein. Falls dagegen viele Elemente mit „von Hand“ programmiertem JavaScript [7] verschoben und große Änderungen am Layout durchgeführt werden sollen, wird die Anzahl der Stunden hoch sein.

Vor allem da moderne Shop-Systeme viele zusätzliche Funktionen wie Zoom- und Lupenfunktionen einsetzen [8], ist die Entwicklung des JavaScript-Codes relativ aufwendig. In unserem Beispiel haben die Frontend-Entwicklung zwei Tage geschätzt.

5.5 Entwicklung Backend

Komplexe Tests erfordern oft Anpassungen am Backend zusätzlich zur Frontend-Entwicklung. Im Gegensatz zur Entwicklung der Testvarianten per JavaScript können diese Arbeiten nur von einem Mitarbeiter der IT-Abteilung durchgeführt werden.

Beispiele für solche Testvarianten sind:

  • Es müssen URLs zu größeren Produktbildern auf jeder Produktdetailseite im Quelltext platziert werden.
  • Eine Gastbestellung soll ermöglicht werden.
  • Es sollen zusätzliche Filter auf Kategorieseiten getestet werden.
  • Es soll die Reihenfolge von Checkout-Schritten geändert werden.
  • Statt auf einer eigenen Seite wird die Nachricht „Produkt in den Warenkorb gelegt“ in einem JavaScript-Layer angezeigt.

Möglicherweise gibt es zurzeit andere dringende Projekte der IT, weshalb es schwierig sein könnte, dort Ressourcen abzufragen. Hier gilt also noch mehr als bei der sonstigen Planung: Rechtzeitig anfragen.

In unserem Beispiel, dem ersten obigen Szenario, werden in der Tat zusätzliche IT-Ressourcen benötigt. Da die größeren Produktbilder schon vorhanden sind und nur noch die URLs in den Quelltext eingefügt werden muss, sind nur 4 Stunden für diese Aufgabe eingeplant.           

5.6 Qualitätssicherung

Kein Test kann ohne eine gründliche Qualitätssicherung starten. Wie viel Zeit diese in Anspruch nehmen wird, hängt von vielen Faktoren ab. 

  • Wie viele verschieden Kombinationen von Browsern und Betriebssystemen müssen überprüft werden?
  • Müssen eine Vielzahl von Produkten überprüft werden, weil die Produktdetailseite für verschiedene Produkte unterschiedlich aussieht?
  • Müssen Funktionen mit virtueller Maschine getestet werden oder sind Screenshots zur Qualitätssicherung des Layouts ausreichend?
  • Wie viele Seitenkategorien (Produktdetailseite, Kategorieseite, etc.) sind vom Test betroffen und müssen deshalb überprüft werden?

Für eine ausführliche Schritt-für-Schritt-Anleitung verweisen wir auf unseren Praxisguide „Qualitätssicherung von A/B-Tests“.

In unserem Beispiel ist vor allem der dritte Faktor wichtig. Da in der Testvarianten alle ursprünglichen Funktionen, wie dass Vollbild oder die Zoom-Möglichkeit, funktionieren sollen, muss die Testvariante für alle problematischen Browserkombinationen in einer virtuellen Konsole überprüft werden. Dies wurde mit 6 Stunden in der Tabelle angesetzt.

5.7 Formel für geschätzten Aufwand

Um den geschätzten Aufwand zu erhalten, können nun einfach alle Stunden der verschiedenen Kategorien addiert werden:

6. Verhältnis zwischen Aufwand und Einfluss

Einfluss und Aufwand wurden nun geschätzt. Wie kommt man aber von diesen Werten zu einem Wert für die Priorität?

Im dritten Kapitel wurde die Formel wie folgt angegeben:

Die Priorität von Hypothesen ist jedoch nicht für jedes Unternehmen im gleichen Maße von deren geschätztem Einfluss und geschätztem Aufwand abhängig:

  • In Unternehmen mit vielen Ressourcen sollte der geschätzte Aufwand niedriger bewertet werden, da der Aufwand günstiger „zu haben ist“.
  • In Unternehmen mit hohen Umsätzen sollte der geschätzte Einfluss höher bewertet werden. Schon eine sehr geringe Steigerung der Conversion Rate oder des Umsatzes hat dort große monetäre Auswirkungen.
  • Falls Ressourcen und Umsätze jedoch nur wenig vorhanden sind, gilt es den Aufwand stärker in die Priorisierung einzubeziehen.

[1] In vielen Fällen ist die Conversion Rate für SEA-Traffic höher als für den gesamten Traffic. Zur Vereinfachung wurden in diesem Beispiel die gleichen Werte gewählt.

[2] Wie Trichter am besten definiert werden können, erläutert unser Praxisguide „Conversion-Trichter definieren“.

[3] Der Praxisguide „Onsite-Befragungen zur Conversion-Optimierung“ zeigt, wie Umfragen zu diesem Zweck eingesetzt werden können.

[4] Im Vortrag „Einführung Remote Usability Testing“ zeigt erste Schritte in diesem Bereich auf.

[5] Der Praxisguide „Möglichkeiten der In-Page-Analyse“ zeigt Wege auf, wie Probleme per Session-Wiedergabe erkannt werden können.

[6] Unser Praxisguide „Point&Click-Editoren: Nutzen und Limits in der Praxis“ beschreibt, wann dies der Fall ist.

[7] Der Praxisguide „Testvarianten in JavaScript umsetzen“ gibt wertvolle Tipps und eine Schritt-für-Schritt-Anleitung, wie die Übersetzung funktioniert.

[8] Der Praxisguide „Produktdetailseiten: Produktbeschreibungen, Bilder und Videos“ bietet zu diese und anderen Themen bezüglich Produktbilder sehr viele weitere Informationen und Anleitungen.

Passend zu diesem Thema

ConversionBoosting