Wann soll ein A/B-Test abgebrochen werden?

Stopp fürs Testing – Gründe für einen Abbruch!

Ein Testing sollte man nur im Notfall vorzeitig abbrechen. Zwei Beispiele für solch einen Notfall sind eine extrem sinkende Conversion-Rate sowie ein Shitstorm während eines Testings. Andererseits gibt es auch Situationen, in denen Sie einen Test definitiv NICHT abbrechen sollten. Aber wann ist das der Fall?

„Brechen Sie ein Testing niemals vorschnell ab“ ist einer der Grundsätze für erfolgreiches Testing. Wer vorschnell abbricht, geht im ungünstigen Fall mit verfälschten Ergebnissen aus dem Testing. Sie führen dann nicht zu einer höheren Conversion-Rate, obwohl der zu früh beendete Test genau das scheinbar belegt. Allerdings gibt es durchaus Fälle, in denen ein vorzeitiger Abbruch eines Testings sinnvoll ist. Testing soll schließlich nicht schaden, sondern nutzen. Wenn man mögliche Abbruchgründe berücksichtigt, ist man auf der sicheren Seite. Was aber sind mögliche Gründe für einen Testabbruch? Zwei möchte ich Ihnen hier nennen.

Extremwirkung auf die Conversion-Rate

Sie testen zwei verschiedene Bilder-Varianten für Ihre Landing-Page, von denen eins möglicherweise einen etwas provozierenden Charakter hat, vielleicht auf Erotik setzt, die manche sexistisch finden, vielleicht witzig gemeint ist, aber auch als respektlos, beleidigend oder unpassend empfunden werden könnte. Grundsätzlich sollten Sie nicht darauf verzichten, solche Bilder bei Testings einzusetzen, wenn Ihnen eine provozierende Bildidee in den Sinn kommt. Solch eine Bildidee polarisiert. Das bedeutet: Sie birgt oftmals eventuell eine größere Gefahr, potenzielle Kunden abzuschrecken, aber sie hat auch das Potenzial, zu einer höheren Conversion-Rate als ein „harmloseres“ Bild zu führen.

Werfen Sie während solcher Tests aber häufiger einmal einen Blick auf Zwischenergebnisse. Sinkt die Conversion-Rate während des Tests (nicht nur für eine kurze Zeit) extrem in den Keller, wird es möglicherweise Zeit für einen Abbruch. Man muss ein Gespür dafür entwickeln, wann das der Fall ist, denn allzu schnelle Panik wäre hier ebenso falsch wie allzu langes Zögern, wenn Handeln gefragt ist. Im letztgenannten Fall drohen als Extremfolgen eine beschädigte Marke und/oder ein beschädigtes Unternehmensimage.

Shitstorm

Nochmals mehr Handlungsbedarf entsteht, wenn eine Ihrer Testvarianten einen Shitstorm mit massiver Kritik auf Social Media Plattformen wie Facebook oder Twitter verursacht. Auch das ist natürlich ein Grund, einen Test vorzeitig abzubrechen. Zugleich sind angemessene Reaktionen auf die Kritik gefragt. Grundsätzliche Gedanken, wie solche Reaktionen auszusehen haben, sollten Sie sich frühzeitig machen, möglichst bevor Sie irgendwann mit einem Shitstorm konfrontiert werden. Allerdings gilt auch bei Kritik im Internet: Verfallen Sie nicht zu schnell in Panik und halten Sie nicht jedes laue Lüftchen für einen Shitstorm, der zum Abbruch eines Tests zwingt. Treffen Sie im Internet auf zwei, drei vereinzelte Negativ-Kommentare ist das noch KEIN Shitstorm und wird möglicherweise niemals einer werden. Klar ist: Sie sollten beobachten, was im Internet über Sie, Ihre Marken, Ihr Unternehmen erzählt wird. Was man nicht weiß, darauf kann man auch nicht reagieren.

Kein Grund für Abbruch ist…

Das oben Geschilderte klingt irgendwie gefährlich, finden Sie? Es klingt so, als wäre gar kein Testing die bessere Alternative? Nein, ist es nicht! Bedenken Sie, dass das Risiko letztlich auch ohne Testing gleich bleibt. Zugleich verliert man ohne Testing aber die Chance, seine Conversion-Rate kontinuierlich nach oben zu treiben. Eine schlechte Wahl! Wie geschildert, sollte ein Abbruch nicht vorschnell erfolgen und nicht aus übergroßer und unbegründeter Angst. Ein Abbruch sollte gar nicht erfolgen, wenn die Conversion-Rate bei beiden Test-Varianten eines A/B Tests nicht bedrohlich absinkt, wenn aber von Anfang an eine der beiden Varianten in Bezug auf die Conversion-Rate eindeutig in Führung geht. Brechen Sie einen Test nicht vorschnell ab, weil Ihnen sein Ergebnis bereits klar zu sein scheint. Bis zum regulären Ende kann es noch Überraschungen geben. Nur der gesamte Test, von Anfang bis Ende durchgezogen, ist wirklich aussagekräftig.

ConversionBoosting