Wie Website-Testing unrepräsentive Labortests ersetzt

Die Beratung durch mehr oder weniger erfahrene Usability-Consultants war früher ein wichtiger Bestandteil der Optimierungsbemühungen für Websites. Unternehmen haben die eigenen Ideen diesen Consultants vorgestellt und diese haben dann auf Basis ihrer subjektiven Meinungen und Erfahrungen vorselektiert, was hinsichtlich der Bedienbarkeit umgesetzt werden soll.

Zusätzlich haben sie diese Ideen durch verschiedene Methoden analysiert. So wurden beispielsweise Blickverlaufsmessungen (EyeTracking) empfohlen, um erkennen zu wollen, wie stark die Positionierung und Gestaltung (also die Wahrnehmung) eines Objekt (z.B. eines Gutscheins) die Nutzung beeinflusst. Außerdem wurde beispielsweise das Setzen und Aufheben von Filtermöglichkeiten in einem Usability-Labor mit Nutzern aus der potenziellen Zielgruppe überprüft.

Davon sollten valide Aussagen über die Bedienbarkeit getroffen und die Filter entsprechend optimiert werden. Um nur einmal rekrutieren zu müssen, wurden beide Methoden direkt miteinander verknüpft. Die Nutzer im Labor würden außerdem meist weiterführende Anregungen liefern.

Doch dieses Vorgehensweise hat gewisse Nachteile:

  • Die Beratung – egal durch wen – ist immer subjektiv. Egal wie viel Erfahrung ein Berater hat: es wird immer daran scheitern, dass er gewisse Vorlieben, Abneigungen und vorgefasste Meinungen hat. Jede Website ist jedoch anders und benötigt eine ganz spezielle Optimierung – unabhängig davon, was bei anderen (auch ähnlich) Seiten gut funktioniert hat.
  • Besonders gefährlich ist diese Art der „Optimierung“, da Sie an den tatsächlichen Besuchern vorbei geht. Es kann immer nur eine theoretische Zielgruppe befragt werden. Diese entspricht jedoch nie dem tatsächlichen Besucher-Mix der Website. Die Ergebnisse jeglicher Befragung sind damit für die Optimierung unbrauchbar.
  • Zudem sind die Ergebnisse nicht repräsentativ. Um repräsentative Ergebnisse zu erhalten, müsste man zum einen den realen Besucher-Mix kennen (den man nie kennt) und man müsste eine sehr große Menge dieser Besucher befragen (was nie geschieht). Nicht repräsentative Ergebnisse sind jedoch nutzlos.
  • Es dauert sehr lange und ist sehr teuer überhaupt solche Analysen und Befragungen durchzuführen. Nicht selten werden weit über 10.000 Euro ausgegeben, um diese Ergebnisse zu generieren. Der tatsächliche Erfolg steht jedoch weit in den Sternen.
  • Das Risiko viel Geld zu verlieren ist zudem sehr groß. Da die „Optimierung“ auf einer Datenbasis mit sehr geringer Aussagekraft basiert, wird schnell in die falsche Richtung optimiert. Wenn nicht getestet wird, kann überhaupt nicht festgestelt werden, ob die „Optimierung“ erfolgreich war.
  • Ein abschließender A/B-Test ist vollkommen ineffektiv. Selbst wenn eine Conversion-Rate-Steigerung nachgewiesen werden kann, fehlt die genaue Quantifizierung durch was diese erreicht wurde. Das Ergebnis ist ein reiner Zufallstreffer.

Die Alternative: Website-Testing

Warum nicht so: Es wird sich nicht auf bestimmte Ideen begrenzt, sondern ein Testkonzept erstellt, dass darauf auslegt ist, breit zu testen. Hierzu werden objektive, repräsentative Analysemethoden wie digitales EyeTracking verwendet. Die Tests werden direkt auf der Website als Splittraffic-Tests mit den tatsächlichen Besuchern durchgeführt. Durch Nutzung von Segmentierung werden die Testergebnisse für Traffic-Kanäle (ggf. auf Adgroup- oder Platzierungsebene), geographische Regionen und nach anderen Kriterien betrachtet und so das Verhalten der einzelnen Bestandteile des Besucher-Mixes analysiert.

A/B- und multivariate Tests bieten dabei nicht nur Aussagen darüber, was besonders gut funktioniert, sondern auch welche Bereiche der Seite den meisten Einfluss auf das tatsächliche Besucherverhalten haben. Die Testvarianten können zudem individuell nach Einfluss ausgewertet werden und so wertvolle Rückschlüsse auf die Bedürfnisse der Besuchersegmente gezogen werden.

Das Ergebnis ist nicht nur eine optimierte, neue Variante der Website. Zusätzlich erhält man einen Einblick in die Vorlieben und Abneigungen der tatsächlichen Website-Besucher. Es kann genau gesehen werden, wie diese auf Veränderungen reagieren. Das Ganze findet in der realen Situation statt – ohne Labor und  künstliche Umgebung, dafür in realen Entscheidungssituationen mit der tatsächlichen, ungesteuerten Wahrnehmung der Besucher. Von der ersten Sekunde an kann auf Basis von objektiven Messdaten nachvollzogen werden, wie sich die Besucher gegenüber den getesteten Neuerungen verhalten. Die optimierte Website ist oft nicht eine Version für alle Besucher, sondern es können individuelle Varianten erstellt werden, um die einzelnen Segmente optimal anzusprechen.

Es gibt Usability-Agenturen die in Bezug auf Testing gern ein paar Nachteile nennen, z.B.

Der Aufwand für die Erstellung/Programmierung des Testdesigns sei sehr hoch, weil es viele kleine Veränderungen umzusetzen gelte bzw. viele Varianten umgesetzt werden müssten.

Ein kleiner multivariater Tests ist inklusive Grafikarbeiten binnen 30 Minuten aufgesetzt. Ein größerer Tests verbraucht 1-2 Tage Arbeitszeit. Moderne Tools sind sehr einfach und flexibel – da muss niemand programmieren. Tatsächlich ist es meist nicht mal notwendig, die IT-Abteilung überhaupt einzubinden.

Es könnte zu Umsatzeinbußen kommen, wenn über einen gewissen Zeitraum eine niedrigere Conversion[-Rate] erzielt wird. Denn oft wäre es so, dass einige Varianten/Kombinationen schlicht eine Verschlechterung des Status Quo bedeuten.

Dies passiert nur, wenn man Tests nicht richtig durchführt. Gute Tools für Website-Testing liefern Testergebnisse in Realtime. So kann direkt erkannt werden, wenn einzelne Testvarianten sehr schlecht laufen und nach einer gewissen Zeit können diese deaktiviert werden. Aber hätte es nicht auch sein können, dass genau eine solche Variante auch zum Testsieger wird? Deshalb muss man auch diese testen und kann im Vorfeld auch gar nicht sagen, wie genau einzelne Testvarianten performen. Tatsächlich erreicht man bei der richtigen Vorgehensweise bereits während des Testens eine Steigerung der Conversion-Rate und somit eine Verbesserung des Staus Quo, bevor der Test überhaupt ausgewertet ist.

Das Optimum würde nicht erreicht, weil die Nutzer und die Expertise von externen Consultants nicht einbezogen würden. Das tatsächliche Potenzial der Veränderungen würde also nicht ausgeschöpft.

Das Optimum wird wohl nie erreicht werden – egal ob durch die unrepräsentative Befragung von Nutzern, die subjektive Expertise von Consultants oder durch Website-Tests. Aber Website-Tests bieten die Chance auch Varianten zu testen, die so kein „Experte“ empfehlen würden. Nicht selten wird damit ein großer Durchbruch erzielt, der nicht erreicht worden wäre, hätte man sich auf die Erfahrung von Experten verlassen.

Es würde zwar zumeist deutlich werden, welche Variante am besten konvertiert, es bliebe jedoch teilweise offen, warum das so ist. Es fehle das unmittelbare Feedback des Nutzers bzw. Einblicke, in seine Denk- und Entscheidungsprozesse.

Das „Warum“ findet niemand heraus. In Labor-Test kann man die Probanden zwar fragen – diese Aussagen sind jedoch wertlos, da subjektiv und nicht repräsentativ. Zudem ist das „Warum“ sehr komplex und kaum jemand kann tatsächlich darlegen, weshalb konkret er beispielsweise einen Kauf getätigt hat, wenn es um mehr geht, als um Preis, Versandkosten, Verfügbarkeit und Bewertungen. Wenn Usability-Consultants sagen, sie könnten das „Warum“ herausfinden, lassen diese sich leider auch nur blenden.

Aber natürlich muss man solchen Agenturen an machen Punkten auch mal Recht geben. Beispielsweise:

Bei Website mit weniger Traffic, kann es recht lang dauern, bis die Ergebnisse signifikant werden. Es vergeht viel Zeit, bis die Probleme behoben oder eine Verbesserung final umgesetzt wurde.

Um statistisch valide Aussagen zu erhalten, ist eine gewisse minimale Testlaufzeit notwendig. In der Realität sind dies zwei Wochen. Das hängt aber nicht ausschließlich vom Traffic ab, sondern liegt insbesondere am Besucherverhalten, dass über die einzelnen Wochentage massiv schwankt. Besucher verhalten sich Dienstags ganz anders als Freitags. Deshalb muss man für jeden Wochentag mindestens zweimal Daten sammeln, um Ergebnissen vertrauen zu können. Genau dieses reale Besucherverhalten bleibt bei Labor-Tests jedoch ganz außen vor – und verfälscht die Ergebnisse enorm.

Wer tatsächlich so wenige Besucher hat, dass er in vierzehn Tagen keine validen Ergebnisse erreichen kann, der hat entweder den Test falsch angelegt – oder muss zunächst an anderer Stelle des Online-Marketing Energie investieren, bevor die Optimierung der Website den Geschäftserfolg maßgeblich beeinflussen kann.

Fazit

Klassische Usability-Optimierung durch Blickverlaufsmessungen und Usability-Tests im Labor ist nicht mehr zeitgemäß. Es ist durch moderne Technologien wie Website-Testing nicht mehr notwendig, sich auf subjektive Meinungen, Heuristiken und nicht-repräsentative Umfragen zu verlassen. Auch braucht niemand mehr eine künstliche Zielgruppe zu definieren, um diese zu befragen. Ein bl0ßes „Optimieren“ auf Basis von solchen „Erkenntnissen“ ist weder effizient noch zielführend. Im Gegenteil: es wird dadurch gar keine Optimierung erreicht, sondern nur eine Veränderung mit der Hoffnung auf Optimierung.

Deshalb ist das Testen direkt auf der Website mit den tatsächlichen Besuchern der nächste evolutionäre Schritt, der notwendig ist, um eine Website auf die Bedürfnisse der tatsächlichen Besucher zu optimieren. Es kann detailliert nachvollzogen werden, welche Besucher auf welche Veränderungen wie reagieren. Hierbei wird das tatsächliche Verhalten gemessen und nicht ein Laborverhalten, dass so in der Realität nicht vorkommt.

Der Autor

Julian Kleinknecht - CRO ConversionBoosting GmbH

Julian Kleinknecht
CRO ConversionBoosting GmbH

Mehr Informationen

Julian Kleinknecht ist CRO (Chief Research Officer) von ConversionBoosting und verantwortet alle Research-Inhalte. Er hat zwei Master-Abschlüsse der University of St Andrews (UK) und der LMU München sowie viele Jahre Erfahrung in den Bereichen Web-Analyse und Website-Testing.

ConversionBoosting ANALYZE
Wandle Deine Besucher in mehr Leads & Sales
  • Konkrete Optimierungsvorschläge für mehr Leads & Sales
  • Innovatives Online-Tool zur Conversion-Optimierung
  • Individuelle Analyse Deiner Website

ConversionBoosting