Close

Kontaktieren Sie uns

Brauchen Sie IT-Service oder Support? Schicken Sie uns Ihre Online-Anfrage, und wir finden eine Lösung!

Your request was succesfully accepted!

A/B-Tests Sind Nutzlos

Wir werden reingelegt. A/B-Testing als eine flexible und wirksame Optimierungsmethode darzustellen ist eine starke Lüge der IT-Industrie.

*für Webseiten und mobile Apps.

Über den Autor und seine Motive die ihn dazu gebracht haben diesen Artikel zu schreiben.

Meiner Erfahrung und der Erfahrung meiner Kollegen nach, führt keine Firma richtige, regelmäßige A/B-Tests durch. Ein gründliches A/B-Testing ist nicht zu finden.

In diesem Artikel wollen wir herausfinden warum das so ist.

Einmal arbeiteten wir an einem Projekt, das etwas 800,000 eindeutige Nutzer täglich hatte. Unser Ziel war, dieses Projekt einem A/B-Testing zu unterziehen.

Hier sind die Schwierigkeiten, die wir hatten:

1. Einfluss der zahlreichen Faktoren

Legen wir A/B Testing zur Seite und nehmen wir ein einfaches Beispiel. Sie posten einen neuen Banner auf Ihrer Webseite und messen seine Werte.

Alles sieht gut aus. Besucher klicken auf den Banner und Sie bekommen Ihr Geld.

Aber was machen die anderen Banner und ihre Conversion Rates? Haben Sie Pech, bleibt Ihr Gesamtgewinn unverändert oder sinkt sogar.

Und wenn der Gesamtgewinn steigt? Ist der neue Banner allein dafür zu danken? Oder vergrößte Besucherzahl? Saisonfaktor? Einmaliger Virus-Effekt auf soziale Medien? Während Sie Ihre Teste durchführen, entwickelt sich Ihr Produkt weiter. Es ist sinnlos, einen „reinen“ Monat ohne Einfluss der Marketing-Faktoren zu suchen.

Man muss gründlich alle potentielle Außenfaktoren analysieren. Das ist aber ein Rätselraten. Natürlich können Sie auch jede einzelne Produkt-Werte in Betracht nehmen, aber das bringt nichts.

Was macht man in diesem Fall? Da haben Sie einen einfachen Algorithmus:

  • Hypothese machen.
  • Veränderung durchsetzen.
  • Hauptwerte in einem Tag/Monat/Quartal messen.
  • Ist es besser geworden? Die neue Variante behalten.
  • Ist es schlechlter geworden? Zurück zur ursprünglichen Variante gehen.
  • Siehe Schritt 1.

Eine Verbesserung oder Verschlechterung festzustellen ist einfach. Die Ursache der Veränderungen zu finden und zu skalieren ist aber eine echte Herausforderung.

2. Man braucht vollständige analytische Daten (oder einen guten Analytiker)

Neben Google Analytics und Yandex.Metrik, setzten wir unsere eigene Analytiktools ein und exportierten Rohdaten zu Excel um manuelle Berechnungen durchzuführen. Soweit ich weiß, machen alle große Internet-Geschäfte so. Sie benutzen mehrere Systeme, die verschiedene Berechnungsmethode anwenden und verschiedene Variationen haben. Die Besucher-Statistik derselber Webseite nach GA und YM kann sich stark unterschieden. Das ist aber nicht das größte Problem. Analytiksysteme sind kaum verwendbarum finanzielle und materielle Werte zu berechnen.
Es kann sein, dass nach dem Banner-Posten Ihr monatliches Einkommen steigt und die Retention-Rate (Kundenbindungsrate) sinkt. In einigen Monaten, gibt es eine Besucher- und Einkommensenkung.

Was will ich damit sagen? Mann kann nicht alle Ursachen in Betracht nehmen und Veränderungen korrekt messen. Man muss natürliche Variationen der Werte berechnen. Zeigt das Test eine größere Variation, können Sie dann die neue Variante behalten.

Natürliche Variation kann 10-20% erreichen. Steigt Ihr Einkommen um 5% nach dem Banner-Posten, bedeutet das nichts. Gar nichts.

Steigt die Conversion Rate um 9% nachdem Sie eine Taste rosa umgefärbt haben?
Ha-ha 😉

3. А/В-Testing ist nicht billig

Wie wäre es, wenn wir verschiedene Webdesign-Varianten verschiedenen Menschen aus derselben Besucherquelle zeigten? Dann würden wir Saison- und Marketing-Faktoren ausschließen.

Tolle Idee.

Ein “high-load” Produkt mit Geschichte, Caching und mehrere Content-Server sind kaum für  Branching Development (Verzweiglung) geeignet. Von Architektur-Aspekt her, ist so ein Projekt nicht testbar. Nehmen wir an, dass Sie einem Backend-Developer sagen:

— Ich möchte einen anderen Layout die 8 Prozent der Besucher und verschiedene Felder zeigen. Und die Custom-Seite für Besucher, die zurückkommen. Und – fast vergessen! – modifizierte Statistik! Was? Warum schaust du mir so an?!
Ihr erster А/В-Test wird voll von technischen Überraschungen sein, besonders wenn etwas schief geht und Besucher “vermischt“ werden. Im realen Leben passiert das die ganze Zeit.
Nachdem sie diese Probleme gelöst und sogar einen Test durchführt haben, werden Sie sehen, dass kleine Veränderungen eine schwache Wirkung haben. Ich meine, wenn Sie die Ecken einer Taste rund machen und ihre Farbe von blau zu grün wechseln, merkt das der Großteil der Nutzer nicht. Wollen Sie einen stärkeren Anklang finden, müssen Sie größere Veränderungen machen. Zum Beispiel, die Zahl der Registrierungsfelder von 12 bis zu 4 reduzieren.

Die Frage ist nur: Warum haben Sie das nicht früher getan? Warum brauchen Sie einen A/B-Test oder die Meinung einen renommierten UX-Designer, um diese Veränderung zu machen?

Sind Sie fest entschlossen, einen A/B-Test zu durchführen, machen Sie sich bereit, mindestens eine Hälfte des Ursprungswebseitepreises fur eine Test-Seite zu bezahlen.

Sind Sie noch überzeugt, dass es sich lohnt, so viel Geld auszugeben?

4. Effektive Alternativen zu A/B-Testing

Die Wahrheit ist, dass Sie eine Menge tolle Dinge tun können, ohne das Produkt zu verändern. Zum Beispiel, können Sie einen Werbebetreibender wechseln, einen Wettbewerb auf soziale Medien veranstalten, ihren Werbefeldzug in Yandex. Direct optimieren, Werbefläche irgendwo anders kaufen, eine neue Produkt-Charakteristik hinzufügen, Bugs korrigieren, und vieles mehr. In Gegenteil zum A/B-Testing sind diese Lösungen kosteneffektiv.

Warum sind die А/В-Tests populär?

Die Wahrheit ist, dass A/B-Testing durch große Firmen gefördet ist. Die haben Ressourcen und Geld, um alle vorhandenen Methoden auszuprobieren.
Zum Beispiel, benutzt Yandex. Musik die Eye-Tracking Technologie, die Blickbewegungen der mobile App-Besucher analysiert. Das ist ein tolles Tool, aber nur when man ein Budget dafür hat.

Einen A/B-Test zu unwissenden Kunden zu verkaufen ist ein Kinderspiel. Analytiker und Developer müssen auch ihren Lebensunterhalt verdienen, nicht wahr? Dann schreiben sie in einem Bericht, dass “die Retention-Rate der Kamtschatka-Region Besucher um 8 Prozent stieg“. Aber wie beeinflusst diese Steigerung das Einkommen? Der Großteil der Kunden stellt sich diese Frage nicht.

Hauptschlussfolgerung über Tasten und Interfaces

Das Wichtigste ist, dass Sie eine gute Arbeit machen. Wenn Ihr Produkt viel zu wünschen übrig läßt und Ihr Callcenter-Team unhöflich sind, hilft Ihnen kein Interface.

Gutes Design, gebräuchliche Anwendungsfälle, hoch informative Texte, und nutzerfreundliche Grafik machen 96 Prozent des Erfolgs. Die übrigen 4 Prozent sind durch Interface-Verbesserungen nicht zu erreichen. Schauen Sie der Wahrheit ins Gesicht.

Sind A/B-Tests total nutzlos?

Natürlich sind sie nicht! Diese Methode ist eine wirksame Lösung, wenn Sie mehr Kontrolle über die Daten haben, z.B. beim PPC-Werbung-Testen oder Newsletter-Testen. Im Gegensatz zu Design, sind Texte und Landings mehr testbar. Seien Sie aber vorsichtig beim Interpretieren der Ergebnisse.