Unser neues A/B-Test-Tool ist da!

Engel & Völkers hat seit Ende 2017 ein eigenes A/B-Test-Tool, das zusammen mit dem Tech-Dienstleister freiheit.com entwickelt wurde.

Mit diesem digitalen Tool kann die Performance einer oder n-Zielseiten gemessen und entsprechend verbessert werden. Dies geschieht auf Basis von im Vorfeld definierten KPI, die gleichzeitig die Ziele der zu testenden Seiten festlegen. Bei diesen Performance-Vergleichen zweier oder mehr Seiten, liegt der Fokus in der Regel auf der Usability. Dabei werden entweder bereits bestehende Elemente auf der Website anders platziert oder neue Elemente hinzugefügt (wie beispielsweise CTA, Kontaktformulare etc.). Die Besucher werden über eine festgelegte Gewichtung (in Prozent) der Varianten, die über Cookies gesteuert werden, auf die entsprechenden Haupt- oder Unterseiten geleitet. 

Bei der Entwicklung haben wir darauf geachtet, dass wir bestehende Komponenten, wie Microservices, nutzen. Unser WebCMS kommuniziert über das GRPC-Protokoll mit einem dieser Microservices, um die aktuellen Tests abzufragen. Zudem muss das Tool in die neue Cloud-Umgebung passen, die Teil der digitalen Transformation bei Engel & Völkers ist.

Eine weitere Herausforderung bei der Entwicklung des Steuerungspanels, das der Erstellung und Verwaltung aller Tests dient, war für uns die Implementierung in das bestehende WebCMS. Für das neue A/B-Test-Tool wurde mit dem Framework “React” die aktuellste Technologie im Frontend verwendet, die auch zum Beispiel von Unternehmen wie Netflix oder Airbnb genutzt wird. Die Auswertung aller gesammelten Daten, wird von unserem Kibana-Tracking übernommen.

In der Praxis sieht ein mögliches Testszenario wie folgt aus:

Der Probandengruppe A wird ein bestimmtes Design einer Seite gezeigt, in der Regel die Control-Variante, während eine Gruppe B die gleiche Website mit einem veränderten Design präsentiert bekommt. Die Verteilung in diesem Falle läge bei 50%. Umso mehr Varianten gegeneinander getestet werden, desto granularer die prozentuale Verteilung. Hierbei können die Seiten zu ungleichen oder gleichen Teilen ausgespielt werden. Eine Performance-Auswertung kann zum Beispiel über Clickrates, allen voran der Conversionrate, aber auch mittels Verweildauern oder abgesendeten Formularen durchgeführt werden. Mit dieser einfachen Mess-Methode kann herausgefunden werden, welche dieser genannten Varianten am effizientesten in Bezug auf die Performance ist.

Für ein möglichst aussagekräftiges Ergebnis, sollte bei der Erstellung eines Tests darauf geachtet werden, dass immer nur ein Element pro Seite verändert werden darf. Nur dann lässt sich wirklich sagen, ob die vorgenommene Änderung Einfluss auf den ursprünglichen Zustand und damit das Ergebnis hat.

Die Varianten werden im Vorfeld immer mit Hilfe von Hypothesen definiert, damit im Nachhinein die Ergebnisse belegbar sind. Um valide Ergebnisse zu erhalten, sind zudem die Testlaufzeit und der Umfang des traffics, also den teilnehmenden Personengruppen, von elementarer Bedeutung. Ziel eines A/B-Tests ist es immer, ein Produkt oder eine Dienstleistung dahingehend zu optimieren, dass die Anzahl der User erhöht und die Website-Performance stetig verbessert wird. 

Wir halten Euch auf dem Laufenden, welche Schlüsse wir aus unseren A/B Tests ziehen werden!