Testen ist eine der wirkungsvollsten, wenn nicht die wirkungsvollste Methode zur Optimierung im E-Mail Marketing. Doch wie kommen Sie beim Testen von verschiedenen Mailvarianten zu aussagekräftigen Ergebnissen? Was sind überhaupt aussagekräftige Ergebnisse?
Die richtige Testgruppengröße
Wie groß müssen die jeweiligen Testgruppen, an die Sie Ihre Mailvarianten schicken, sein, um aussagekräftige Ergebnisse zu erzielen? Eine Testgruppe sollte mindestens 10 Prozent des Gesamtverteilers (bzw. gesamten Segments) ausmachen, pro Testgruppe aber mindestens 1.000 Probanden. Bedenken Sie jedoch, dass die Anzahl an Probanden kleiner wird, je nachdem, wie „tief“ im Funnel Sie testen. Angenommen Sie möchten verschiedene Varianten eines Call-to-Action Buttons testen und Ihre Öffnungsrate beträgt 33,33 Prozent. Wenn Sie jede Mailvariante an 1.000 Probanden schicken, würden davon jeweils nur 333 die Mail öffnen und den Call-to-Action Button zu Gesicht zu bekommen. Die jeweiligen Testgruppen müssten also jeweils 3.000 Probanden umfassen, damit 1.000 bis zum Call-to-Action Button „durchkommen“.
Signifikante Ergebnisse
Sie haben einen Test durchgeführt und das Ergebnis vorliegen. Woher wissen Sie nun, ob dieses Ergebnis überhaupt signifikant ist? Diese Frage ist leider nicht pauschal zu beantworten. Angenommen Ihre Öffnungsraten liegen üblicherweise zwischen 31 Prozent und 32 Prozent, muss Betreffzeile A mit 31,8 Prozent Öffnungsrate nicht unbedingt besser sein als Betreffzeile B mit 31,3 Prozent. Hätte Betreffzeile A stattdessen 38 Prozent wäre das Ergebnis signifikanter. Wichtig ist, dass Sie Hypothesen aufstellen (z.B. „ein Unterschied von mehr als zwei Prozent in der Öffnungsrate ist signifikant“) und diese immer wieder überprüfen.
Zusatztipp: Schließen Sie Kunden, die sowieso immer auf Ihre E-Mails reagieren von Ihren Tests aus. Für diese Kunden müssen Sie nicht mehr weiter optimieren.
Richtig segmentieren
Stellen Sie sich vor, Sie haben einen E-Mail-Verteiler mit 100.000 Kunden und testen eine E-Mail mit zwei verschiedenen Betreffzeilen. Betreffzeile 1 hat eine um fünf Prozent höhere Öffnungsrate als Betreffzeile 2. Ein klares Ergebnis oder? So einfach ist es leider nicht. Denn vielleicht „verstecken“ sich in diesen 100.000 Kunden verschiedene Segmente und nicht bei allen davon funktioniert Betreffzeile 1 besser. Vielleicht erzielt sie bei manchen sogar schlechtere Ergebnisse. Segmentierung ist daher für das Testing im E-Mail-Marketing sehr wichtig. Verwenden Sie zunächst bereits in Ihrem Marketing vorhandene Segmente und prüfen Sie, ob diese unterschiedlich auf verschiedene Testvarianten reagieren.
Nutzen Sie Testing aber auch, um Hypothesen über Ihre Kunden zu überprüfen und evtl. neue Segmente zu bilden. Schauen Sie genau hin, ob bestimmte Testergebnisse mit bestimmten Kundenmerkmalen korrelieren.
Mit der ELAINE Technologie von artegic können Sie Testing und die Erkennung bisher unbekannter Segmente sogar kombinieren. Mittels künstlicher Intelligenz erkennt ELAINE im laufenden Testbetrieb selbstständig Zusammenhänge zwischen Faktorausprägungen und Segmentmerkmalen und bildet automatisch möglichst granulare Segmente abhängig davon, welche Segmentmerkmale mit welchen Faktorausprägungen am besten funktionieren. Die Erkennung und Optimierung funktioniert schon während der Laufzeit der Kampagne, d.h. unmittelbar und in Echtzeit. Inhalte werden in Echtzeit für die neu ermittelten Segmente oder ggf. sogar für einzelne Kunden angepasst. Öffnet ein Kunde eine Stunde nach Versand eine E-Mail, erhält er ggf. andere Inhalte, als wenn er die gleiche Mail fünf Minuten nach Versand geöffnet hätte