Checkliste "Abweichungen zwischen Tracking-Tools beheben"

1. Die Ausgangssituation

Eines der größten Versprechen im Online-Marketing und speziell der Webanalyse ist die Messbarkeit alles Verhalten von Besuchern auf Websites. Was aber, wenn die verschiedenen eingesetzten Tools unterschiedliche Zahlen liefern?

In dieser Checkliste betrachten wir Unterschiede zwischen diesen Tools:

• Testing-Tool
• Webanalyse-Tools
• Tracking im Backend

Von besonderer Relevanz sind natürlich Conversion- und Umsatzzahlen. Aber auch Unterschiede zwischen anderen Metriken und Dimensionen werden thematisiert.

Wenn Sie noch nicht überzeugt sind, dass das Thema Abweichungen zwischen Tools Aufmerksamkeit verdient, helfen diese beiden negativen Folgen für die Conversion-Optimierung, die Tragweite des Themas zu erkennen.

Erstenssorgen Abweichungen für Misstrauen gegenüber der Verwendung von Daten. Kollegen und Vorgesetzte fragen sich, warum denn überhaupt so viel Geld und Zeit in das Tracking und Website-Tests investiert wird, wenn die Daten sowieso nicht vertrauenswürdig sind. Dem sollten Sie unbedingt entgegenwirken.

Zweitens bieten vielen der weitverbreitetsten Testing-Tools (wie Optimizely oder VWO) nur eingeschränkte Funktionalitäten in diesen beiden Bereichen an:

• Segmentierung: Kompliziertere Segmente, wie „nur Transaktionen einer bestimmten Warengruppe“ oder nur Besucher über eine bestimmte Kampagne, können selten in Testing-Tools angewendet werden.
• Messung von Metriken: Es können in manchen Testing-Tools nur Besucher, Conversions, Umsatz und Klicks gemessen werden. Metriken wie die Verweildauer oder die Absprungrate sind nicht verfügbar.

Um beide Einschränkungen der Testing-Tools zu beheben, können diese sehr einfach mit Webanalyse-Tools verknüpft werden. Dann wird bei jeder HTTP-Anfrage des Webanalyse-Tools auch die dem Besucher zugewiesene Testvariante gespeichert. Dies geschieht in einer benutzerdefinierten Variablen.

Wenn dann bei der Auswertung von Tests zwischen Neu- und Bestandskunden segmentiert werden soll, müssen dafür die Daten aus dem Webanalyse-Tool herhalten.

In dieser Checkliste listen und erläutern wir im Folgenden insgesamt 19 mögliche Ursachen für unterschiedliche Messdaten in Tracking-Tools. Gehen Sie die Liste von oben nach unten durch und überprüfen Sie, ob eine oder mehrere der Szenarien auf Ihre Website und Implementierungen zutreffen.

2. Zeiträume

Werden die gleichen Zeiträume betrachtet?

Eigentlich eine der offensichtlichsten Ursachen für unterschiedliche Daten: Es wurden in den Tools versehentlich unterschiedliche Zeiträume ausgewählt. Trotzdem übersieht man dieses Problem im Eifer des Gefechts gerne schnell.

Denken Sie auch daran, den heutigen Tag nicht in den Zeitraum aufzunehmen. Es dauert für verschiedene Tools unterschiedlich lange bis Daten im Tool „ankommen“ (siehe übernächster Checkpunkt). Daten des heutigen Tages werden also immer abweichen.

Werden die gleichen Zeitzonen betrachtet?

Haben Sie beide Tools auf die gleiche Zeitzone konfiguriert? Überprüfen Sie das im Admin-Bereich der Tools.

Und selbst wenn dies der Fall ist, kann es – vor allem bei US-amerikanischen Anbietern – sein, dass es hier zu Bugs kommt. In der Datenbank werden nämlich alle Daten in einer US-Zeit gespeichert und dann in der Oberfläche „übersetzt“.  Informieren Sie sich bei dem Anbieter, wo es hier zu Problemen kommen kann.

Sind die gesammelten Rohdaten schon verarbeitet?

Nachdem das JavaScript-Tag des Tracking-Tools die HTTP-Anfrage an den Server des Tracking-Tools versendet hat, müssen diese gesammelten Rohdaten noch verarbeitet werden. Erst dann werden die Daten in der Oberfläche angezeigt.[1] Backend-Systeme arbeiten zwar nicht mit JavaScript; häufig gibt es jedoch trotzdem eine Latenz zwischen Conversion und Anzeige im System.

Diese Wartezeit ist von Tool zu Tool verschieden. Bei Google Analytics beträgt sie offiziell 24 Stunden; in der Praxis sind Daten jedoch sehr viel schnelle im Tool verfügbar.

Informieren Sie sich, mit wie viel Verzögerung Sie rechnen müssen.

Werden vom Testing-Tool auch Conversions außerhalb des Zeitraums gezählt?

Angenommen ein Test läuft vom 01.01.-20.01. Ein Besucher kommt am 15.01. auf die Website und bekommt eine Testvariante zugewiesen, die in seinem Cookie gespeichert wird. Um ihm auch nach Ende des Tests eine konsistente Darstellung der Website zu bieten, wird ihm weiterhin die zugewiesene Testvariante angezeigt. Wenn der Besucher nun am 25.01. – also nach Ende des Tests – konvertiert, wird in manchen Testing-Tools diese Conversion noch zum Test vom 01.01.-20.01. gezählt.

Wenn im Webanalyse-Tool oder im Backend der Zeitraum 01.01.-20.01. ausgewählt wird, wird diese Conversion jedoch nicht gezählt.

Einerseits könnte nun gesagt werden, dass das Testing-Tool einen Fehler beim Messen der Conversions macht. Andererseits „gehört“ die Conversion vielleicht doch in den Zeitraum, da der Besucher in ihm die Testvariante gesehen hat.

Unabhängig, welche der beiden Seiten Recht hat, sollten Sie diese beiden Punkte klären:

• Sprechen Sie mit Ihrem Testing-Anbieter und finden Sie  heraus, wie das Tool mit dem beschriebenen Szenario umgeht.
• Schauen Sie im Webanalyse-Tool nach, wie viel Zeit zwischen dem ersten Besuch und einer Conversion vergeht. In Google Analytics heißt diese Metrik zum Beispiel „Time to Purchase“.

3. Filter und Segmente

Wurden Besucher per Filter vom Tracking ausgeschlossen?

Fast alle Tracking-Tools bieten die Möglichkeit, Filter über die Rohdaten zu legen, bevor diese verarbeitet werden. Auf diese Weise werden häufig Besuche von Mitarbeitern aus dem System ferngehalten. Es können jedoch theoretisch alle erdenklichen Filter definiert werden und zum Beispiel alle Besucher, die über Display kamen, nicht tracken.

Wenn Sie in einem Tool Filter (oder ähnliche Mechanismen zum Ausschließen von Daten) angelegt haben, dann stellen Sie sicher, dass im anderen Tool die gleichen Daten ausgeschlossen werden.

Wurde ein Test per Targeting nur für bestimmte Besucher ausgespielt?

Tests werden häufig nicht für alle Besucher ausgespielt. Mögliche Beispiele für ein solches Targeting sind:

• In Shops werden Kategorieseiten getestet. Da nicht jeder Käufer eine Kategorieseite zu Gesicht bekommt, ist die Zahl der Transaktionen im Testing-Tool geringer als im Webanalyse-Tool.
• Es sollen nur Besucher am Test teilnehmen, die über Display-Kampagnen auf die Website kamen.

Um Besuche und Conversions im Testing- und Webanalyse-Tool korrekt vergleichen zu können, erstellen Sie im Webanalyse-Tool ein entsprechendes Segment und legen es über die gesammelten Daten.

Es gibt jedoch noch ein weiteres Problem. Angenommen ein Besucher betritt eine Website zuerst über SEO und nimmt deshalb ein einem Test teil, der nur SEO-Traffic angezeigt wird. Beim zweiten Besuch erfolgt ein direkter Einstieg und schließlich eine Conversion.

Im Testing-Tool taucht diese Conversion für den Test des SEO-Traffics auf. Wenn Sie jedoch ein SEO-Segment über die Daten im Webanalyse-Tool legen, wird diese Conversion nicht eingeschlossen – schließlich war direct der letzte Kanal vor der Conversion.

Ist ein Segment auf die Daten angewendet?

Im Gegensatz zu Filtern werden Segmente nach Verarbeitung der Rohdaten angewendet, das heißt wenn die Daten schon in der Oberfläche vorhanden sind. Analog zu den verschiedenen Zeiträumen übersieht man häufig, dass noch ein Segment im Tool aktiviert ist.

4. Definitionen von Metriken und Dimensionen

Nur wenn Metriken und Dimensionen in den zu vergleichenden Tools auch das gleiche bedeuten, können sie auch verglichen werden. Es gibt hier jedoch mehr als genug Möglichkeiten zur Verwirrung als man auf den ersten Blick vermuten würde.

Sind Besuche bzw. Sessions gleich definiert?

Ein Besucher surft auf einer Website, wird dann durch einen Anruf abgelenkt und setzt nach 45 Minuten seinen Besuch fort? Zählt dies noch als ein Besuch oder sind es schon zwei? Laut der Definition von Google Analytics endet eine Session/Besuch zum Beispiel nach 30 Minuten Inaktivität.

Wenn Sie also unterschiedliche Werte für die Anzahl der Besuche messen oder Besuche Teil anderer wichtiger Kennzahlen (wie der Conversion Rate) sind, dann finden Sie heraus, ob die Tools hier andere Definitionen verwenden.

Die Definition von Besucher (mit „r“) diskutieren wir im nächsten Kapitel.

Ist eine Conversion gleich definiert?

Bei der Definition einer Conversion gibt es zwei wichtige Fragen. Erstens: Wird unter einer Conversion in den zu vergleichenden Tools das Gleiche verstanden, das heißt ist eine Conversion beispielsweise in beiden Tools als erfolgreicher Kauf definiert?

Zweitens sollte untersucht werden, wie oft mehrere Conversion durch den gleichen Besucher gezählt wird. Diese drei Szenarien sind möglich:

• Ein Besucher kann nur einmal konvertieren. Alle weiteren Conversion des gleichen Besuchers werden ignoriert
• Wenn die Conversions in verschiedenen Sessions erfolgen, werden die Conversions gezählt. Wenn sie in der gleichen Session erfolgen, dann nicht.
• Jede Conversions des gleichen Besuchers zählt.

Finden Sie heraus, welche Definition in den Tools eingesetzt wird.

Ist die Conversion Rate gleich definiert?

Es gibt zwei verschiedene Definitionen der Conversion Rate:

• Anzahl Conversions / Anzahl Besucher
• Anzahl Conversions / Anzahl Sessions bzw. Besuche

Für Website-Tests ist die erste Definition sinnvoller und wird auch von den meisten Testing-Tools eingesetzt. Eine Testvariante sollte schließlich auch als Erfolg gelten, wenn die Conversion nicht gleich beim ersten Besuch erfolgt. Anders gesagt: es ist nicht das Ziel einer Testvariante beim ersten Besuch zu konvertieren, sondern überhaupt zu konvertieren.

In der Webanalyse verhält es sich etwas anders. Hier werden oft verschiedene Traffic-Quellen verglichen. Wenn ein Besucher nun über zwei verschiedene Quellen auf einer Website gelandet ist und konvertiert hat, dann kann diese Conversion nur einer Quelle zugewiesen werden (sonst würde die Anzahl der Conversions stark erhöht sein). Wenn also Traffic-Quellen verglichen werden, dann ist die zweite Definition sinnvoller.

Finden Sie also zuerst heraus, welche der beiden Definitionen der Conversion Rate im Einsatz sind. Falls diese unterschiedlich sind, berechnen Sie die gewünschte Conversions Rate einfach anhand der Bestandteile Conversions und Besucher oder Sessions einfach selbst.

Ist Umsatz in den Tools gleich definiert?

Diese drei Faktoren können den getrackten Umsatz beeinflussen:

• mit oder ohne Mehrwertsteuer
• mit oder ohne Versandgebühren
• mit oder ohne Rabatte / Gutscheine

Überprüfen Sie, in welcher Form der Umsatz in den verschiedenen Tools gespeichert wird.

5. Technologie

Setzen die Tools auf die gleiche Technologie, um Besucher wiederzuerkennen?

Es gibt verschiedene Methoden, mit deren Hilfe Tracking-Tools versuchen, wiederkehrende Besucher zu identifizieren. Diese drei Möglichkeiten sind am Weitesten verbreitet:

• 1st party cookies, das heißt Cookies, die auf der gleichen Domain wie die betreffenden Website gesetzt werden
• 3rd party cookies, das heißt Cookie, die auf einer anderen Domain gesetzt werden
• Fingerprinting, das heißt Besucher werden an Eigenschaften wie dem verwendeten Browser, der Sprache und den installierten Erweiterungen erkannt

Die unterschiedlichen Methoden sind beim Wiedererkennen auch unterschiedlich erfolgreich. Der Safari-Browser akzeptiert beispielsweise keine 3rd party cookies. Wiederkehrende Besucher mit diesem Browser werden also statt als Wiederkehrer als neue Besucher identifiziert.

Klären Sie, ob die verglichenen Tracking-Tools auf die gleiche Methode setzen.

Wie werden Traffic-Quellen erkannt?

Das Identifizieren von Traffic-Quellen ist äußerst komplex und es gibt auch hier Unterschiede zwischen den Tools. Ein besonders interessantes Beispiel stellt die Behandlung von „direct traffic“ durch Google Analytics dar. Hierunter wird aller Traffic zusammengefasst, der keine Information über den Referrer aufweist (tatsächliche direkte Zugriffe, Klicks in E-Mails und Dokumenten). Falls ein Besucher jedoch zuerst per AdWords-Anzeige auf eine Website kommt und beim nächsten Besuch, die URL direkt eingibt, zählt Google Analytics dies trotzdem als ein SEA-Besuch – und diesem Kanal wird auf die Conversion zugesprochen, falls eine erfolgt.

Wenn Sie Traffic-Quellen vergleichen, stellen Sie also sicher, dass Sie über diese Besonderheiten informiert sind.

Werden gesampelte mit ungesampelten Daten verglichen?

Manche Tracking-Tools zeigen in der Oberfläche nur gesampelte Daten an. Das heißt, es wird nur eine Teilmenge der ausgewählten Datenpunkte betrachtet und angenommen, dass keine signifikanten Unterschiede zwischen der Teilmenge und der Gesamtheit der Daten bestehen.

Vor allem bei zwei Szenarien wird der Einfluss des Samplings deutlich:

• Wenn Daten segmentiert werden, sinkt die Fallzahl und damit auch die Wahrscheinlichkeit, dass die Teilmenge tatsächlich repräsentativ für die Gesamtheit der Daten ist.
• Bei Daten über lange Zeiträume hinweg ist die benötigte Rechenleistung so hoch, dass viele Tools auf Sampling setzen.

Das Problem des Samplings ist ganz einfach: Die Daten sind einfach nicht genau. Der Unterschied zwischen Tools kann also durch den Fehler, der durch das Sampling eingeführt wurde, verursacht werden.

Bringen Sie in Erfahrung, ob die eingesetzten Tools gesampelte Daten anzeigen. Neben einer Anfrage beim Anbieter liefert auch dieses kleine Experiment eine erste Antwort. Vergleichen Sie dazu beispielsweise die Anzahl der gemessenen Conversions in einem großen Zeitraum (zum Beispiel 12 Monate) mit der Summe der Conversions, wenn die einzelnen Monate einzelne betrachtet werden.

Falls Sie mit gesampelten Daten arbeiten, informieren Sie sich, ob ein Zugriff auf die nicht-gesampelten Daten möglich ist.

Welche Zuordnung von Conversions wird verwendet?

Setzen beide Tools auf die gleiche Zuordnung, wie beispielsweise „Last Cookie Wins“? Oder kommen unterschiedliche Regeln zum Einsatz?

Einfluss von Blockern wie Ghostery und AdBlock

Abhängig davon, wie internetaffin Ihre Besucher sind, wird ein bestimmter Prozentsatz Blocker wie Ghostery oder AdBlock einsetzen. Diese unterbinden, dass die HTTP-Anfragen von Tracking-Tools ausgeführt werden.

Dies hat zwei Auswirkungen auf Ihre Zahlen:

• Da das Tracking im Backend server-seitig geschieht, ist es von diesem Problem nicht betroffen. Die Zahlen dort sind also tendenziell höher.
• Möglicherweise blockieren manchen Besucher zwar Ihr Webanalyse-Tool, nicht aber das Testing-Tool. Oder umgekehrt. Dies begünstigt

Sprechen Sie mit Ihrer IT, um aufzuzeichnen, wie viele der Besucher bestimmte Tags blockieren.

6. Implementierung der Tools

Wurden die Tools an unterschiedlicher Stelle im Quelltext integriert?

Testing-Tools sollten so weit oben wie möglich im Quelltext implementiert werden, damit das Tool die Testvariante so schnell wie möglich erstellen kann und es nicht zu dem unangenehmen Flacker-Effekt kommt. Webanalyse-Tools auf der anderen Seite sollten entweder im Footer oder, noch besser, asynchron per Tag Manager implementiert werden. Auf diese Weise behindern sie nicht das Funktionieren der Website.

Zwischen dem Tracking des Testing-Tools ganz oben und dem Tracking des Webanalyse-Tools ganz unten bzw. asynchron kann jedoch viel passieren, was dazu führt, dass letzteres Tool nicht richtig trackt:

• Ein JavaScript-Fehler kann die Ausführung des Webanalyse-Tags unterbrechen
• Der Besucher kann das das Laden der Seite abbrechen
• Die Seit lädt möglicherweise so langsam, dass das Webanalyse-Tag noch nicht geladen ist, wenn der Besucher schon weiterklickt.

Wurden beide Tags auf den gleichen Seiten implementiert?

Es kommt oft vor, dass manche Seiten oder Seitentypen nicht getaggt werden. Falls ein Tool also auf einer Seite vorhanden, das andere jedoch fehlt, kann es zu unterschiedlichen Zahlen kommen.

Überprüfen Sie also die Implementierungen der verschiedenen Tools, möglicherweise auch mithilfe von Tools wie ObservePoint.

Wurde das Tag eines Tools doppelt implementiert?

Dies ist die Umkehrung des vorherigen Punkts. Wenn Tags eines Tools mehrfach auf der gleichen Seite implementiert sind, kann dies zu überhöhten Zahlen führen.