Lohnt ein Newsletter-Test für Sie?

E-Mailmarketing ist im Vergleich zum klassischen Direktmarketing preiswert. Das mag der Grund sein, warum so wenig getestet wird. Viele mögen sich fragen, ob sich Testen überhaupt lohnt. Erfahren Sie, wann sich welche Tests lohnen.

Grau ist die Theorie

Artikel wie diese, Bücher und Erfahrungsberichte sind gute Anhaltspunkte für die Praxis. Doch selbst nach etlichen Jahren in der Praxis müssen wir immer wieder feststellen, dass es kein Schema F gibt. Jede Branche, jeder Leserschaft “tickt” doch ein wenig anders. Unter dem Strich bleibt: Sie sollten die Werkzeuge und Möglichkeiten kennen, was Sie erreichen können. Doch Durchschnittszahlen, ob Klick- oder Konversionsraten, sind lediglich Anhaltspunkte.

Wann lohnen sich Tests?

Im Direktmarketing geht man als Daumenregel davon aus, dass zwischen 35 und 50 Antworten bereits eine Tendenz zu einer Fragestellung vermitteln. 100 Antworten würden bereits 95 Prozent abdecken. Auch das eher eine grobe Größenordnung, die für eine erste Planung reicht. Wer es statistisch genauer mag, schaut sich den Beitrag den Kollegen René Kulka an, der sich hier mit Signifikanz in A/B-Tests intensiver auseinandersetzt.

Unsere Erfahrung zeigt, dass sich die meisten aussagekräftige Tests erst bei Newslettern ab 10.000 Abonnenten lohnen. Es sei denn, Sie wollen nur die beste Öffnungsrate messen. Denn die lässt sich auch schon mit kleinen Verteilern zwischen 3.000 – 5.000 Adressen testen.

Doch wenn Sie jenseits der Öffnungsrate herausfinden wollen, ob ein prozentualer Rabatt oder ein fester Betrag besser ankommen, sind größere Verteiler erforderlich. Ein simples Rechenbeispiel zeigt das:

Gehen wir mal davon aus, dass Sie 100 Antworten benötigen, um herauszufinden, ob Angebot A oder B besser ankommt. Wir setzen für unser Rechenbeispiel voraus, dass die durchschnittliche Klickrate 6 Prozent beträgt.

Dann benötigen wir zwei Testgruppen mit insgesamt mindestens 1.700 Abonnenten. (1.700 * 6 % = 102 Klicks). Liegt die durchschnittliche Klickrate wesentlich darunter oder Sie wollen sinnvollerweise mehr Sicherheit, so liegt die Testgröße dann bereits über 2.500 Adressen.

Hätten Sie nur 5.000 Abonnenten, wäre der Test damit relativ bedeutungslos, weil ja jetzt nur noch 2.500 (oder maximal 3.300) Abonnenten für die “bessere” Version aus dem A/B-Split-Test übrig blieben.

Wann sollten Sie Tests durchführen?

Getreu dem Motto, immer nur eine Variable zu testen, müssen Testmails, die beispielsweise Angebotsvarianten testen, am gleichen Tag und zur gleichen Uhrzeit versendet werden. Versenden Sie die eine Mail um 10 Uhr morgens, die zweite Testmal um 16 Uhr, dann haben Sie bereits eine zweite Variabel, die Ihre Ergebnisse verfälscht.

Wie können Sie von den Tests lernen?

Wenn Sie Betreffzeilen testen, werden Sie dieses über einen gewissen Zeitraum tun. Hierbei sollten Sie eine genaue Fragestellung festlegen, was Sie herausfinden wollen: “Wir wollen herausfinden, ob verkäuferisch orientierte oder beschreibende Betreffzeilen besser bei unseren Lesern ankommen.” In der Konsequenz heißt das, dass Sie für die nächsten Ausgaben Varianten von Betreffzeilen wählen müssen, die eindeutig dem einen oder anderen Muster folgen.

Wann Sie keinen automatisierten Versand der besten Version nutzen sollten

Eine Reihe von Versandlösungen bietet A/B-Tests an, bei denen am Ende automatisch die beste Version verschickt wird. Diese Automatisierung zu nutzen, ist aber nur sinnvoll, wenn die Entscheidung für “die beste Version” nicht einfach rechnerisch an einem Klick hängen kann, sondern an einer statistischen Signifikanz festgemacht wird.

Hier ist ein Signifikanzrechner, bei dem Sie einfach nur Ihre Ergebnisse eingeben müssen, um festzustellen, ob die Unterschiede zwischen Ihren Testvarianten signifikant sind. Direkt zum Signifikanzrechner

Infos zum Autor

Karsten Büttner betreibt seit 2001 E-Mailmarketing. Seit 2006 legte er mit der-newsletter-experte.de seinen Schwerpunkt auf hersteller-unabhängige Beratung, den Vertrieb von Versandlösungen sowie Dienstleistungen wie Redaktion, Newsletteroptimierung oder Inhouse-Seminaren. Seitdem erschienen Fachbeiträge u.a. in Torsten Schwarz’ Leitfaden Online-Marketing, Webselling (Data Becker-Verlag), sowie in diversen Newslettern. Ein eigenes Fachbuch “E-Mail- und Newslettermarketing” erschien 2007 (vergriffen).