Praxisguide
Viele A/B-Tests funktionieren nicht, weil getesteten Landingpages nicht auf die richtigen Ziele optimiert werden.
In diesem Praxisguide beantworten wir daher die Frage, welche Ziele für A/B-Tests sinnvoll sind. Diese Frage sollte beantwortet werden noch bevor Testvarianten konzipiert werden oder ein Test gestartet wird.
Autor
Julian Kleinknecht
Viele A/B-Tests bringen für Unternehmen keinen Nutzen. Ein Grund dafür ist, dass die getesteten Landingpages nicht auf die richtigen Ziele optimiert werden. Eine Testvariante einer Landingpage mag zwar zu einer höheren Besuchsdauer führen – dies ist aber kein Ziel, welches dem Unternehmen nützt. Es wird dadurch kein zusätzlicher Umsatz generiert, Produkte verkauft oder Kosten gespart.
In diesem Praxisguide beantworten wir daher die Frage, welche Ziele für A/B-Tests auf Landingpages sinnvoll sind. Diese Frage sollte beantwortet werden noch bevor Testvarianten konzipiert werden oder ein Test gestartet wird.
Im nächsten Kapitel definieren wir dazu zuerst kurz grundlegende Begriffe. In den anschließenden Kapiteln diskutieren wir folgende mögliche Ziele und deren Sinnhaftigkeit für A/B-Tests:
Gehen Sie einfach die Liste durch und identifizieren, welche Ziele für A/B-Tests auf Ihrer Landingpage geeignet sind.
Beantworten Sie zuerst die Frage, weshalb die Landingpage, auf der ein A/B-Test durchgeführt werden soll, überhaupt betrieben wird. Jede Landingpage wird zu einem bestimmten Zweck betrieben; sonst würde keine Zeit und Geld in sie investiert werden.
Dies sollte schnell definiert sein. Mögliche Aufgaben sind unter anderem:
Wie kann nun der Erfolg der Landingpage beim Erreichen der entsprechenden Aufgabe bewertet werden? Anders gefragt: Wie kann eingeschätzt werden, ob die Landingpage ihre Aufgabe erfüllt?
Hier kommen die sogenannten Key Performance Indicators (KPIs) [1] zum Einsatz. Dies sind Kennzahlen, die den Erfolg der Landingpage in einer Zahl beschreiben.
Nicht alle Kennzahlen einer Landingpage sind also KPIs, sondern nur diejenigen, die auch wirklich den Erfolg beim Erreichen der zuvor definierten Aufgabe der Landingpage messen. Genau diese Kennzahlen sollten in A/B-Tests verbessert werden.
Weiterbildung per eLearning.
Keine Anmeldung notwendig
Neben KPIs gibt es auch noch Kennzahlen, die zwar nicht den Erfolg der Landingpage beim Erreichen der Aufgabe beschreiben, aber trotzdem gemessen werden sollen. Als sekundäre Erfolgsfaktoren helfen sie jedoch die Auswirkungen von Testvarianten auf das Besucherverhalten zu erkennen und zu verstehen.
Sie werden oft „Mikro-Conversions“ oder „Conversion-Schritte“ genannt. Klassische Mikro-Conversions sind das Erreichen der verschiedenen Schritte im Checkout eines Online-Shops. Zur Verbesserung des Checkouts ist es sehr hilfreich, die Fortschrittsraten zu kennen – den Erfolg des Shops beschreibt jedoch nur tatsächliche Verkäufe.
In den folgenden Kapiteln geht es für jede der verschiedenen Kennzahlen um diese Frage. In welche dieser drei Kategorien fällt die Kennzahl:
KPI | Mikro-Conversion | alle anderen Ereignisse |
---|---|---|
als Ziel für A/B-Test geeignet | nicht als Ziel für einen A/B-Test geeignet, sollte aber trotzdem aufgezeichnet werden | nicht als Ziel für A/B-Tests geeignet |
In diesem Kapitel diskutieren wir die drei in der Überschrift genannten Ereignisse. Alle fallen in die gerade definierte erste Kategorie, das heißt sie eignen sich als Ziele für A/B-Tests.
Alle diese Ereignisse haben gemeinsam, dass sie online messbar sind. Wir nennen sie entsprechend „Online-Conversions“. In vielen Fällen ist die Interaktion mit dem Kunden jedoch noch nicht beendet. Das heißt, der Erfolg der Testvariante kann sich noch nach dem Online-Abschluss verändern, beispielsweise weil eine Bestellung retourniert wurde. Deshalb diskutieren wir auch, welche sogenannten „Offline-Conversions“ als Ziele für A/B-Tests geeignet sind.
Ein Lead ist eine Anfrage eines potenziellen Kunden inklusive seiner Kontaktdaten. Mit der entsprechenden Erlaubnis können diese Interessenten zu einem Sale und somit zu einem echten Kunden werden.
Beispiele für Leads, die online gesammelt werden, sind unter anderem:
Alle diese Conversions eignen sich als KPIs für A/B-Tests. Wenn das Einverständnis zur Kontaktaufnahme per Double-Opt-In erfolgt, sollten natürlich nur Leads nach dem Double-Opt-In als KPIs herhalten.
Leads zu generieren ist jedoch nicht das eigentliche Ziel eines Unternehmens. Es sollen zahlende Kunden und damit Sales (siehe Kapitel 3.2) generiert werden. Der Sale geschieht in den meisten Fällen jedoch offline oder zumindest nicht auf der Landingpage. Die Umwandlung eines Leads in einen Sale kann entsprechend nur schwer getrackt werden. Trotzdem sollte der zum Lead passende Sale definiert werden und versucht werden, diese für die verschiedenen Testvarianten zu messen.
Insbesondere bei Newslettern kann es sehr lange dauern bis aus einem Newsletterabonnement ein Sale wird. Zusätzlich ist es oft schwierig, den Newsletter als Ursache für einen Sale zu identifizieren.
Als KPI kann deshalb ein Ereignis zeitlich zwischen Anmeldung zum Newsletter einerseits und Sale durch den Newsletter andererseits definiert werden: die Tatsache, dass die Einwilligung zum Newsletter auch noch nach einem bestimmten Zeitraum bestehen, das heißt der Newsletter nicht abbestellt wurde.
Unter einem Sale oder einer Transaktion versteht man den Verkauf eines Produkts oder einer Dienstleistung. Da der Kauf direkt zu Umsatz führt und damit dem Unternehmensziel behilflich ist, eignet sich ein Sale hervorragend als KPI.
Aber auch mit einem Sale ist die Geschichte noch nicht zu Ende. Möglicherweise werden die Vorteile des Produkts auf der Landingpage so gut angepriesen, dass das Produkt die Erwartungen nicht einlösen kann und deshalb zurückgesendet wird. Weitere Möglichkeiten, wie ein Sale nicht zum Unternehmensziel beiträgt, sind:
Eigentlich sollten also nur Sales nach Abzug der Retouren und nach Eingang des Geldes als KPI für A/B-Tests verwendet werden. [2] Dies gilt besonders für Branchen, wie die Modebranche, wo Retouren und Zahlungsausfälle vergleichsweise hoch sind.
Da dieses Vorgehen jedoch mit relativ viel Aufwand verbunden ist, ist der Sale als Online-Conversion ein guter Kompromiss für eine KPI für A/B-Tests.
Anrufe sind vor allem in Branchen relevant, wo potenzielle Kunden ein größeres Bedürfnis nach persönlichem Kontakt haben und konkrete Fragen stellen möchten. Dies trifft unter anderem im Banken- und Versicherungsbereich zu.
Anrufe sind somit eine Art von Leads. Das Tracking gestaltet sich jedoch aufwendiger. Entsprechende Tools bieten aber auch hier Abhilfe. [3] Anrufe sind also messbar und eignen sich also als KPI für A/B-Tests.
Wie auch bei Leads bringt ein Anruf noch keinen wirklichen Wert für ein Unternehmen. Erst nachdem der anrufende Interessent einen Sale generiert, war der Anruf von Wert.
Die vorigen drei KPIs waren alle quantitativ. Bei jeder Conversion hat sich die Gesamtzahl der Sales oder Leads um eins erhöht. Aber nicht jede Conversion ist gleich viel wert. Deshalb kommen qualitative Ziele zum Einsatz.
Bei der Leadgenerierung ist die Leadqualität ein solches qualitatives Ziel. Wenn das primäre Ziel der Optimierung die Steigerung der Anzahl von Leads ist, gibt es oft (berechtigte) Bedenken, dass zwar die Menge gesteigert wird, die Qualität aber sinkt. Trotz Optimierung gibt es also nicht mehr Sales.
Das Messen der Leadqualität schafft Abhilfe. Diese kann auf verschiedene Weise bestimmt werden. In einfachen Fällen bestimmt ein Mitarbeiter (beispielsweise aus dem Sales-Team) manuell die Qualität eines Leads und nutzt dafür eine einfache Skala von 1-5 (von geringer bis hoher Qualität). Dies bedeutet natürlich, dass die Qualität des Leads erst nach einem gewissen Zeitraum ermittelt werden kann.
Damit der Erfolg einer Testvariante sowohl anhand der absoluten Anzahl der Leads als auch der Leadqualität bewertet wird, können diese beiden Werte multipliziert werden. Dieses einfache Beispiel verdeutlicht diesen Zusammenhang unter der Annahme, dass alle Testvarianten von der gleichen Anzahl Besuchern gesehen wurden:
Variante | Anzahl Leads | Qualität der Leads | Bewertung |
---|---|---|---|
Kontrollvariante | 100 | 4,3 | 430 |
v1 | 120 | 4,0 | 480 |
v2 | 90 | 4,9 | 441 |
Trotz geringerer Qualität der Leads ist Variante v1 in diesem Szenario trotzdem besser bewertet.
Was ist aber nun von der Leadqualität als KPI für A/B-Tests zu halten? Idealerweise würden nur zu Sales konvertierte Leads als KPI verwendet werden. Dies ist jedoch oft nicht möglich. Daher ist die Kombination aus Leadqualität und Anzahl der Leads ein guter Kompromiss für einen KPI für A/B-Tests.
Wurde in dieser Transaktion die günstigere oder die teurere Variante der Software verkauft? So wie nicht jeder Lead gleich viel wert ist, haben auch verschiedene Sales verschiedene Wertigkeiten.
Und wenn Sie Produkte verkaufen, für die Kunden regelmäßig Geld bezahlen – wie beispielsweise Software zur Erstellung von Steuererklärungen -, dann können Sie auch den Wert eines Kunden über die komplette Customer Lifetime bestimmen. In der Realität ist dies jedoch meistens nicht praktikabel. Deshalb lassen wir diese Kennzahl hier außen vor.
Ist der Umsatz eine gute KPI für A/B-Tests? Einerseits scheint der Umsatz doch wichtiger zu sein als die reine Anzahl an Sales oder Leads. Damit erfüllt er die wichtigste Anforderung an einen KPI (Einfluss auf den Erfolg des Unternehmens).
Andererseits hat der Umsatz als KPI den großen Nachteil, dass er sehr viel anfälliger für Ausreißer ist als die absolute Anzahl an Sales oder Leads. Angenommen die Umsätze pro Sale auf einer Landingpage liegen in fast allen Fällen zwischen 90-100 Euro. Nun kommt ein Sale mit einem Umsatz von 1.000 Euro für eine Testvariante zustande. Der Umsatz dieser Testvariante ist nun deutlich höher als der Kontrollvariante. Aber hat wirklich die Testvariante zu diesem hohen Umsatz geführt oder gab es dafür einen anderen Grund? Wäre dieser hohe Umsatz auch auf der Kontrollvariante passiert?
Für Landingpages mit Angeboten ohne größere Schwankungen in den Umsatzwerten ist der Umsatz als KPI also auf jeden Fall geeignet – unterscheidet sich jedoch dann auch nicht deutlich von der Anzahl der Leads/Sales. Landingpages mit großen Ausreißern sollten dagegen sicherstellen, dass diese Ausreißer bei der Analyse ignoriert werden und auch den Umsatz auf statistische Signifikanz überprüfen.
Mit „Klicks“ meinen wir alle Klicks, die nicht zu einem Lead oder Sale führen. Im Allgemeinen sind Klicks nicht als KPIs für A/B-Tests geeignet, sondern stattdessen als Mikro-Conversions, die auf jeden Fall gemessen werden sollten.
Beispiele für Klicks in diesem Sinne sind:
Alle diese Ereignisse signalisieren wahrscheinlich, dass sich ein Kunde mehr für ein Produkt interessiert als ein Kunde, der diese Aktionen nicht durchführt. Sie sollten daher als Mikro-Conversion gemessen werden.
Trotzdem sind diese Klicks nicht als KPIs für A/B-Tests geeignet. Es ist einfach nicht garantiert, dass eine höhere Anzahl dieser Klicks auf zu mehr Sales oder Umsatz führt.
Unter dem Schlagwort „Engagement“ werden verschiedene Kennzahlen zusammengefasst, die alle Aktivitäten von Besuchern auf der Landingpage beschreiben.
Im Allgemeinen sind die nun folgenden Kennzahlen nicht als KPIs für Landingpages geeignet. Leider erwecken Testing-Anbieter wie Optimizely jedoch einen anderen Eindruck, da dort „Engagement“ standardmäßig als Kennzahl in A/B-Tests verwendet wird.
Für redaktionelle Websites, zum Beispiel von Zeitungen, die vor allem durch Anzeigeneinblendungen Geld verdienen, sind Engagement-Kennzahlen möglicherweise interessiert – für Landingpages in unserem Sinne dagegen nicht.
Eine höhere Besuchsdauer wird oft als positive Kennzahl interpretiert. Natürlich kann es nicht als positiv gewertet werden, wenn ein Besucher nach nur 5 Sekunden die Landingpage wieder verlässt. Aber wieso sollte eine Besuchsdauer von zwei Minuten besser sein als von einer Minute?
Vielleicht hat der Besucher auf der Testvariante mit der Besuchsdauer von einer Minute schon alle relevanten Informationen gefunden und ist in den Antragsprozess/Checkout der Landingpage eingestiegen. Oder die Besuchsdauer der Testvariante ist höher, da sie so unübersichtlich ist und der Besucher mehr Zeit investieren musste, um die gewünschte Information zu finden.
Wie bei Klicks als KPIs (siehe 5. Kapitel) gibt es auch hier wieder das Problem, dass es einfach keinen zwingenden Zusammenhang zwischen der Besuchsdauer und der Anzahl an Sales / Leads gibt.
Für die Kennzahl Bounce Rate gibt es verschiedene Definitionen. Diese sind üblich:
Eine niedrige Bounce Rate (in allen drei Definitionen) ist ein guter Indikator, wie gut Besucher auf Landingpage aufgefangen werden, das heißt, ob ihnen auf der Landingpage das geboten wird, was sie sich erhofft haben. [4] Eine niedrige Bounce Rate ist also die Voraussetzung für mehr Leads oder Sales; und damit eine Mikro-Conversion.
Mehr Umsatz macht man jedoch auch durch eine niedrige Bounce Rate nicht unbedingt. Beispielsweise kann die Bounce auch dadurch gesenkt werden, dass Besucher nur die Möglichkeit haben, einen großen Button anzuklicken. Diese Besucher zählen zwar nicht als Bounces – ohne die Besucher zu informieren wird die Landingpage jedoch sicherlich auch keinen zusätzlichen Umsatz generieren.
[1] Der Begriff der KPI kommt nicht aus der Conversion-Optimierung oder der Online-Welt, sondern aus der Betriebswirtschaftslehre. Vor allem im Management und Controlling können beispielsweise der Erfolg, die Leistung oder die Auslastung von Mitarbeitern und Maschinen kontrolliert und bewertet werden.
[2] Bei Dienstleistungen besteht natürlich keine Gefahr des Retoure, wohl aber des Zahlungsausfalles.
[3] Unser Praxisguide „Telefon-Tracking“ (im Erscheinen) bietet einen Einstieg in dieses Thema.
[4] Eine ausführliche Erläuterung diese Idee finden Sie im Praxisguide „Grundlagen erfolgreicher Landingpages“.