Häufig sind A/B-Tests das Mittel der Wahl, wenn es um die Auswertung der Effektivität von Werbemaßnahmen geht, deren Ergebnisse nicht einfach zu berechnen oder vorherzusagen sind. Im digitalen Marketing kann das Verfahren jedoch zu langwierig sein, da meist erst ausreichend Daten gesammelt werden müssen. Durch Künstliche Intelligenz angetriebene Modelle sollen nun sogenannte “Always-On Experimente” ermöglichen.
Im digitalen Marketing gibt es im Wesentlichen folgende Anwendungsfälle: (1) Das Testen neuer Kanäle und Trends, wie beispielsweise neuer sozialer Netzwerke oder Werbeformate, (2) die Optimierung von Kampagnen durch das Ausloten der besten Kombinationen verschiedener Kampagnen-Elemente, wie beispielsweise Personalisierung, Audience-Targeting und Werbeinhalt sowie (3) das Validieren von neuen Produkten, Strategien oder Geschäftsmodellen anhand kleiner Zielgruppen, bevor diese global ausgerollt oder gar erst final implementiert oder produziert werden.
In den vergangenen Jahren haben viele Unternehmen ihre Produktentwicklung von der klassischen „Wasserfall“-Projektplanung auf agilere Arbeitsprozesse umgestellt. Im digitalen Marketing, speziell beim Testing, fällt eine Umstellung auf agile Methoden allerdings schwer. Der übliche Weg zur Auswertung von Marketing-Experimenten sind herkömmliche A/B-Signifikanztests, um anhand vorliegender Beobachtungen eine begründete Entscheidung zu treffen. Das kann sich jedoch aus folgenden Gründen als problematisch erweisen:
- Vorabbestimmung der Testparameter sehr komplex: Vor einem Siginifikanztest müssen vorab Testparameter wie das zu testende Signifikanzniveau, die Teststärke und Effektgröße festgelegt werden. Allein diese Vorbereitung ist häufig schon komplex und zeitintensiv.
- Auswertung erst am Ende des Tests: Um das Signifikanzniveau zu erreichen, benötigen die Tests eine bestimmte Menge an Daten, die vorher festgelegt wurde. Bevor diese Datenmenge erreicht ist, ist eine Zwischenauswertung nicht aussagekräftig. Erst am Ende des definierten Testzeitraums kann das tatsächliche Ergebnis ermittelt werden.
- Limitierung der Anzahl der Varianten: Wenn man mehr als zwei Testvarianten durch A/B/n (beziehungsweise Multivarianz-Tests) gleichzeitig testen möchte, werden deutlich mehr Daten benötigt, und das führt wiederum zu längeren Testzyklen.
- Fehlende Aussagekraft der Ergebnisse: In der Praxis sind die Ergebnisse von Signifikanztests häufig nicht aussagekräftig. In diesem Fall muss der Test mit anderen Parametern wiederholt werden, was Zeit und Ressourcen kostet.
- Keine Bestimmung der Effektgröße: Bei einem positiven Testverlauf bestätigt das Ergebnis eines Signifikanztests lediglich die getestete Effektgröße, wobei der tatsächliche Effekt viel größer sein könnte. Ein Signifikanztest trifft entsprechend keine Aussage darüber wie effektiv eine Marketing-Maßnahme wirklich ist,.
- Expertenwissen vorausgesetzt: Aus den bisher genannten Gründen ist die Auswertung eines Signifikanztests ohne entsprechend fundiertes statistisches Wissen nicht möglich. Hierdurch ergibt sich eine Abhängigkeit zu internen oder externen Experten – einer üblicherweise begrenzten Ressource.
Zu den Stärken von Signifikanztests zählt die Einfachheit der tatsächlichen Berechnung sowie die weitere Verbreitung der Methode sowohl im wirtschaftlichen als auch im wissenschaftlichen Kontext. Das benötigte Level an Skalierung und Automatisierung, um einen agilen Prozess wie “Always-On Experimentation” abzubilden, lässt Signifikanztests allerdings schnell an ihre Grenzen stoßen.
Neue Testverfahren
Es gibt allerdings Hoffnung: Fortschritte in der Forschung, sowie die Möglichkeit große Datenmengen schnell und kosteneffektiv zu verarbeiten, haben zur Entwicklung modernerer Testverfahren beigetragen.
Eines dieser Modelle ist das Bayessche Inferenzkonzept, welches eine Aussage darüber ermöglicht, wie viel besser eine Testvariante im Vergleich zu einer anderen funktioniert. Mit dem Bayesschen Modell können außerdem viele Varianten auf einmal miteinander verglichen werden, ohne dabei die benötigte Datenmenge zu erhöhen.
Durch die Kombination von bayesscher Statistik und Machine-Learning-Algorithmen will die Marketing-Plattform Admetrics die Probleme traditioneller A/B-Testansätze lösen. Mit der “Quantify”-Lösung des Unternehmens sollen Werbetreibenden Experimente eigenständig, schnell und effizient durchführen und analysieren können.
Laut eigener Studien des Unternehmens soll die Lösung weniger als die Hälfte der Daten benötigen, die herkömmliche Signifikanztests brauchen, um verlässliche Handlungsempfehlungen zu generieren. Zudem sollen mehrere Kampagnenvariationen gleichzeitig testbar sein sowie jederzeit neue Variationen hinzugefügt oder entfernt werden können, ohne dass die Qualität der Ergebnisse dadurch beeinträchtigt wird.
Diese neuen Möglichkeiten der Automatisierung erlauben es Werbetreibenden Experimente kontinuierlich und zur Laufzeit von Kampagnen durchzuführen und somit den Testprozess auf “Always-on Experimentation” umzustellen.
EVENT-TIPP ADZINE Live - Industry Preview - Media & Tech Agenda 2025 am 22. Januar 2025, 11:00 Uhr - 12:30 Uhr
Welche Themen sollten Advertiser und ihre Agenturen, aber auch die Medien, ganz oben auf der Agenda haben für 2025? Welche Technologien werden bei den großen Herausforderungen, wie z.B. Datenschutz, Addressability, Qualitätssicherung, Messbarkeit und Einkaufseffizienz im digitalen Mediabusiness 2025 eine wichtige Rolle spielen? Jetzt anmelden!
