Adzine: Herr Bennefeld, etracker hat auch dieses Jahr nicht am Ranking von IdealObserver teilgenommen – was haben Sie gegen diese Marktübersicht?

Christian Bennefeld: Gegen eine seriös aufbereitete Marktübersicht, die Innovationen berücksichtigt und USPs klar herausstellt, ist überhaupt nichts einzuwenden – daran nehmen wir sehr gerne teil. Das Ranking von IdealObserver ist aber eben keine solche Marktübersicht und genügt objektiven Untersuchungsanforderungen in keiner Weise. Es ist irreführund, da es nicht auf einem umfassenden Test der Systeme beruht, sondern lediglich auf einem theoretischen Feature-Abgleich, basierend auf einer Selbstauskunft oder einer Kurzdemo der Hersteller. Das Ranking beschränkt sich ausschließlich auf eine Betrachtung von Features gegenüber einer – im Übrigen sehr lückenhaften – willkürlich von IdealObserver zusammengestellten Featureliste. Über ein mir nicht transparentes Punktesystem werden die Lösungen mit der Featureliste verglichen und so in eine Rangreihenfolge gebracht. Man bewertet also lediglich die „Vollständigkeit“ der Systeme gegenüber dieser Liste – nicht aber eine Vollständigkeit in Bezug auf den Systemnutzen. Das wäre so, als wenn man journalistische Publikationen anhand von Kriterien wie „Seitenanzahl, Zeichen pro Seite, Papierqualität, Druckverfahren etc.“ bewertet und daraus ein Ranking über die „Vollständigkeit“ des Journalismus oder dessen Qualität ableitet.

Adzine: Welche Kriterien fehlen Ihrer Ansicht nach?

Christian Bennefeld: Web-Analytics dient dazu, den Website-Nutzer, dessen Verhalten, sein Nutzungserlebnis, aber auch seine Zufriedenheit und seine Loyalität genauer kennenzulernen, um daraus Optimierungsmaßnahmen abzuleiten und die Website zu verbessern. Dazu benötigt man weit mehr, als nur den Nutzer auf der Website zu beobachten und quantitativ seine Seitenaufrufe zu erfassen. Wichtige Themen sind also: den Nutzer zum einen durch eine fundierte Marktforschungsmethodik strukturiert zu befragen und zum anderen den Nutzer und sein Nutzungserlebnis im Detail aufzuzeichnen und kennenzulernen. Eine Featurekategorie „Survey“ wie im Ranking bringt hier keinen Mehrwert, da „Surveys“ ohnehin jeder professionelle Anbieter beherrscht. Das wäre so, als wenn Sie bei einem Automobilanbietervergleich die Kategorie „Fährt auf Reifen“ und als Unterkategorien Durchmesser, Spurbreite oder Art der Felgen auflisten. Leider hilft diese Auflistung dem Autofahrer nicht festzustellen, wie die Spurtreue des Fahrzeugs ist, wie es sich in schwierigen Situationen fährt und ob man tatsächlich bequem und sicher ans Ziel kommt. In Bezug auf Web-Analytics und „Surveys“ muss die zugrunde liegende Marktforschungs- und Rekrutierungsmethodik (denn hier liegt der eigentliche Nutzwert) also viel genauer analysiert und differenziert dargestellt werden. Das kann aber nur ein echter Test zeigen.

Ganz konkret fehlen dem Ranking aber diverse Features, wenn man auf eine imaginäre „Vollständigkeit“ testen will:  Wichtig für unsere Kunden ist zum Beispiel unser Branchenvergleich. Hier erfährt der Kunde, ob beispielsweise die eigene – vermeintlich gute –  Konversionsrate im Branchenvergleich tatsächlich gut ist oder noch optimiert werden kann. Elementar für die Optimierung. Fehlanzeige bei IdealObserver.

Für die Nutzererlebnisanalyse begeistern sich heute unsere Kunden an der detaillierten Mouse-Tracking-Möglichkeit. Als wenn man dem Nutzer eine Kamera auf die Schulter gestellt hätte, wird hierbei sein gesamter Nutzungsverlauf aufgezeichnet. Diese Aufzeichnungen werden verdichtet, um Blick- und Wahrnehmungsverlauf genauer zu verstehen. Elementar für die Optimierung. Fehlanzeige bei IdealObserver.

Zur Optimierung von zum Beispiel Bestell- oder anderen Prozessen ist die genaue Kenntnis der Interaktion mit Formularen unabdingbar: In welches Feld klicken die Nutzer; wie lange benötigen sie, um bestimmte Felder auszufüllen; gibt es einzelne Felder, die häufig zum Abbruch führen? Elementar für die Optimierung. Fehlanzeige bei IdealObserver.

Ich könnte die Liste der elementaren Funktionen, die in dem Ranking fehlen, beliebig weiterführen, will aber gerne noch auf einen Punkt eingehen, der irritierend ist: Themen wie „Behavioural Targeting“ oder „Bid-Management“ finden Eingang in das Ranking, obwohl dies mit Web-Analytics und dem oben beschriebenen Ziel nichts zu tun hat. Dann könnte IdealObserver doch auch noch „Affiliate-Marketing“, „Performance-Monitoring“ oder „Web-CRM und -ERP“ mit dazu nehmen. Alles genauso spannende Themen, die aber leider nichts mit Web-Analytics zu tun haben.  

Adzine: Wie soll denn IdealObserver 50 Webanalyse-Tools in der Praxis testen, ist der Einkaufsführer nicht zwangsläufig auf ein Featureset der Anbieter angewiesen?

Christian Bennefeld: Jedes seriöse Marktforschungshaus, das eine Marktübersicht publiziert, muss sich auf die wesentlichen Player beschränken. Das sind in Deutschland nur fünf bis sechs. Allein der Titel der Publikation „Bewertung der in Deutschland verfügbaren, professionellen Web-Analytics-Tools“ ist irreführend, da sich dort vor allem auch Tools tummeln, die sich primär an den Heimanwender richten und wohl kaum als „professionell“ bezeichnet werden können: Awstats, phplogger oder 4Stats zum Beispiel.

Jedes Marktforschungshaus definiert dann Zielgruppen. Genauso wie es bei einem Autokauf nicht die Zielgruppe der „Autofahrer“ gibt, sondern nach „Stadtfahrern“, „Familienautos“ oder „Businessfahrzeugen“ etc. differenziert werden muss, gibt es auch nicht den „Web-Analysten“, für den alles passt. Für jeden Anwendungsbereich müssen dann separate Anforderungen definiert werden, gegen die die einzelnen Systeme getestet werden. Wer das nicht leistet, kann auch kein seriöses Ranking herausbringen.

Mein Rat an IdealObserver: Klasse statt Masse, Zielgruppendifferenzierung statt „One fits all“, Nutzwerttest statt Featureschlacht. So machen es die professionellen Marktforscher seit jeher.

Adzine: Aber vor drei Jahren war etracker doch noch mit von der Partie, wieso also seit zwei Jahren dieser Sinneswandel?

Christian Bennefeld: Als seinerzeit der IdealObserver-Inhaber Frank Reese an uns herangetreten ist, ob wir Auskunft über unsere Features für einen Marktvergleich geben wollten, waren wir begeistert und haben gerne mitgemacht. Dann stellte sich aber sehr schnell heraus, dass nur „me-too“-Features abgefragt und anhand einer statischen Verteilung bewertet wurden, wirkliche Innovationen bei dieser Betrachtung aber außen vor bleiben. Auch unsere Anregungen, die Features und die statische Bewertung zu erweitern, wurden kontinuierlich ignoriert. Ein Beispiel dazu: Wir haben uns als einziger Web-Analyse-Anbieter bereits 2006 behördlich auf die Einhaltung der Datenschutzanforderungen prüfen lassen. Diese aufwendige Prüfung wird ausschließlich durch den zuständigen Landesdatenschutzbeauftragten vollzogen und hat sich bei uns insgesamt über eine Zeitstrecke von sieben Monaten erstreckt. Diese Prüfung geht weit über das hinaus, was TÜV & Co. prüfen, hat aber den Nachteil, dass von den Behörden kein Prüfsiegel vergeben werden darf. Bei der Frage von Herrn Reese, welches Datenschutz-Zertifikat oder -Siegel etracker vorweisen kann, haben wir auf die behördliche Prüfung verwiesen – mit dem Resultat, dass wir gegenüber dem TÜV-Siegel abgewertet wurden. Das verzerrt nicht nur die Wahrheit, sondern ist absolut falsch und irreführend, weshalb wir uns entschlossen haben, hier nicht weiter mitzuwirken.

Adzine: Halten Sie denn eine neutrale Marktübersicht nicht auch generell für sinnvoll? Das würde etracker doch auch helfen?

Christian Bennefeld: Eine fundierte Marktübersicht hilft allen. Den Kunden, den Agenturen und nicht zuletzt auch den Herstellern. Wir haben auch überhaupt kein Problem mit einer Marktübersicht oder mit der Möglichkeit, Featurelisten miteinander zu vergleichen. Wir haben aber ein deutliches Problem mit einem „Pseudo“-Ranking. Zumal wenn anders als bei richtigen Rankings nicht getestet, der Kunde nicht befragt oder kein Anwendungsszenario ausgewertet wurde. Ein Tool, wo Anwender prüfen können, welches System ein bestimmtes Feature hat oder wie die Bewertung anhand einer selbst festgelegten und gewichteten Featureliste ausfällt, befürworten wir sogar für eine Erstauswahl der infrage kommenden Systeme. 

Adzine: Und wäre es dann nicht besser, dass sich die Industrie mit IdealObserver zusammensetzt und gemeinsam ein neues Ranking entwickelt, oder ist eine Zusammenarbeit mit IdealObserver für Sie überhaupt nicht mehr denkbar?

Christian Bennefeld: Wir waren sogar vor der Veröffentlichung des Rankings in intensivem Kontakt zu IdealObserver, um hier zu coachen und die Auswertung auf ein seriöses Niveau zu heben. Warum der Dialog vonseiten IdealObserver nicht fortgesetzt und wieder ein Ranking veröffentlich wurde, können wir nicht beantworten und sind über dieses Vorgehen selbst sehr irritiert. In jedem Fall sind wir aber immer offen für einen Dialog und würden uns freuen, gemeinsam mit IdealObserver einen transparenten Marktüberblick zu schaffen, der das Niveau der großen Marktforscher hat.

Adzine: Vielen Dank für das Gespräch!