A/B-Testing im Online-Shop

A/B-Tests sind die beste Methode, um die Conversion-Rate in Online-Shops zu steigern. Statt Änderungen einfach umzusetzen, kann deren Einfluss bewiesen werden.

Julian Kleinknecht zeigt im Video, …

• welche Prozesse und Methoden man einsetzen sollte, um auf vielversprechende Testideen zu kommen (Onsite-Umfragen, Wettbewerbsanalyse, Session Recordings, Kundenbewertungen, Use Cases)
• viele konkrete Testideen für Online-Shops aus Kundenprojekten
• welche Templates und auf welche Ziele man optimieren sollte, und welche nicht
• worauf es bei der Auswertung von A/B-Test für Online-Shops ankommt

Anforderung an Online-Shops für A/B-Testing

Für A/B-Testing sollten Online-Shops ein paar Mindestvoraussetzungen mitbringen:

• min. 1.000 Conversions, bzw. finale Transaktionen pro Monat
• Conversions werden im Webanalyse-Tool gemessen (nicht in der WaWi oder CRM) und können somit für die Auswertung der Tests genutzt werden
• nicht nur Wiederkäufer, welche sowieso kaufen
• nicht nur Beschaffung (B2B), bei der Produkte gekauft werden müssen

Außerdem ist es gut, wenn auch folgende Dinge gegeben sind:

• richtiges datengetriebenes Mindset im Unternehmen: Offen dafür sein, Sachen auszuprobieren und auch umzusetzen, wenn sie im Test einen positiven Einfluss haben. Auch dann, wenn einem die Änderung persönlich vielleicht nicht gefällt.
• Technische Ressourcen: Entwickler, die die Tests (meist in JavaScript) programmieren können.
• passende Personen und Fähigkeiten: Jemand, der die Testvarianten generiert, konzipiert, auswertet, usw.
• eine gute Website: der Online-Shop sollte grundlegend funktionieren und keine fehlenden Produkttexte, keine Darstellungsfehler, usw. haben

Auf welchen Seiten & auf welche Ziele testen?

Das größte Potenzial haben im Shop meist Produktseiten und Kategorieseiten.
Für individuelle Potenzialanalyse folgendes berücksichtigen:

• Anzahl Besucher je Template
• Absprungrate je Template
• Fortschritt im Funnel / Checkout

Ziele beim A/B-Testing:

• Transaktionen als Hauptziel
• Höherer Warenkorbwert
• Newsletter-Anmeldungen
• mehr Registrierungen
• weniger Retouren

A/B-Testing-Prozess

Wichtig: Fortlaufend statt einmalig testen – erst nach ca. 10 Tests kann man sagen, ob A/B-Testing überhaupt etwas bringt.

Schritte des A/B-Testing-Prozesses

Research

1. Ideen sammeln
2. Hypothese aufstellen
3. Konzept erstellen

Projekt-Management

1. Freigaben einholen
2. Tests priorisieren
3. Dokumentation
4. Targeting und Ziele klären
5. Design erstellen
6. Briefing für Entwickler

Umsetzung

1. Programmierung
2. Qualitätssicherung

Projektmanagement + Analyse

1. Intern kommunizieren
2. Tests starten + Monitoring
3. Nächste Tests planen
4. Test beenden + Auswertung
5. Dokumentation + Ergebnisse kommunizieren
6. Gewinner umsetzen

Research-Methoden, um aussichtsreiche Testideen zu finden

Gezielt dort testen, wo das Potenzial und die Wahrscheinlichkeit für ein positives Ergebnis am größten ist. Mögliche Probleme identifizieren und diese mit Testvarianten versuchen zu lösen.

Qualitative Analysen

• Expertenanalyse (wichtige Research-Quelle)
• Wettbewerbsanalyse
• Use Cases oder Anwendungsfälle

Feedback auswerten

• Onsite-Umfragen (wichtige Research-Quelle)
• Kundenbewertungen
• interne Stakeholder befragen

Nutzerverhalten analysieren & Tools

• Session-Recordings (wichtige Research-Quelle)
• Heatmaps
• Webanalyse (wichtige Research-Quelle)

Beispiel: Testidee auf Basis der Analyse von Produkt- & Shop-Bewertungen
Vorgehen: Wir haben häufig in den Bewertungen angesprochene Bedenken und positive Eigenschaften identifiziert. In der Testvariante wurden die Aussagen zusammengefasst und gemeinsam mit aggregierten Bewertung auf der Kategorieseite im Produktlisting angezeigt.

Viele weitere Beispiele für A/B-Testideen auf Basis von Research finden Sie im Video oben auf dieser Seite.

Von der Idee zum startklaren Test

1. Hypothesen aufstellen: Wenn X, dann Y.
Zum Beispiel: Wenn Produktbewertungen prominenter platziert werden, verstehen Nutzer die Wertigkeit des Produktes besser / frühen – die Conversion-Rate steigt infolge dessen.

2. Wireframes erstellen

• auf große Unterschiede achten
• an alle Ausprägungen denken
• mit echten Texten und Bildern arbeiten

3. Programmierung
Das Versprechen vieler Testing-Tools: Tests komplett ohne Entwickler durchführen (WYSIWYG-Editor).
Klappt aber nur selten, weil:

• viele Tests sind einfach zu kompliziert
• Template-übergreifende Änderungen sind schwierig
• es gibt Komplikationen mit bestehenden JavaScript-Funktionen

4. Qualitätssicherung
Überprüfen, ob die Testvariante in allen relevanten Browsern korrekt funktioniert.

• Relevante Browser definieren (Webanalyse)
• Anforderungen definieren (Darstellung, Funktion und ggf. Targeting des Tests)
• Sorgfältig prüfen

5. Monitoring
Regelmäßig prüfen, ob Zahlen einlaufen – am besten eine Stunde, einen Tag und ein paar Tage nach Teststart.

Testvariante auf Darstellungsfehler überprüfen, indem man sich Session-Recordings der Testvariante anschaut.

Auswertung

Statistik verstehen

• sicherstellen, dass das Ergebnis nicht nur zufällig zustande gekommen ist
• Statistische Signifikanz: Wenn man den Test noch 100-mal durchführen würde, wie oft erhält man das gleiche Ergebnis?
• Antwort darauf: p-Wert (willkürliches Ziel: p ≤ 0.05)
• Konfidenz = 100% – p-Wert

• Signifikanz von Umsatz oder Warenkorbwert wird oft nicht gut berechnet. Umsatz je Nutzer exportieren (auch der Besucher, die nichts gekauft haben!) und in Rechner hochladen (z.B. https://www.blastanalytics.com/rpv-calculator), im Produktfeed Cost of Goods Sold übermitteln

Außerdem wichtig bei der Auswertung:

• Zusätzlich auch Micro-Conversions betrachten in den Warenkorb gelegt, Produktseite aufgerufen, Checkout begonnen, usw.
• Transaktionen und Umsatz analysieren
• Segmentierung (u.a. nach Gerätekategorie und Traffic-Kanälen)

Nach dem Test: Dokumentation von A/B-Tests

• Ergebnisse für später festhalten
• Briefing für andere Beteiligte – Entwickler, Designer, usw.
• Meta-Auswertungen durchführen – z.B. Änderungen der Bilder haben mehr Potenzial als Änderungen der Produktbewertungen
• Weitere Tests ableiten – gute Ansätze auf anderen Seitentypen weitertesten

Auswahl des Testing-Tools

Das Testing Tool ist sekundär – Menschen statt Tool

• Tool ohne Menschen ist nichts wert, denn Menschen haben die Ideen und können den beschriebenen Prozess durchlaufen

Tipps zur Tool-Auswahl:

• nicht von WYSIWYG-Editoren blenden lassen
• Jahresvertrag vermeiden
• Agentur / Beratung separat buchen