Aujourd’hui, on vous parle d’une fonctionnalité bien utile de l’outil d’AB testing Kameleoon, fonctionnalité sortie il y a quelques mois. Pourquoi avoir attendu avant d’en parler ? Et bien chez UNAMI, on aime éprouver les nouveautés avant de les vanter.

Kameleoon kezako ?

Kameleoon est une solution d’expérimentation qui permet notamment de facilement tester des modifications directement sur son site web en réalisant des AB tests.

La solution vous permet de valider ou d’invalider des idées de solutions, sans avoir à les mettre en production. Ce qui minimise le risque de se tromper, et donc les coûts de développement (on ne met en production que les idées qui fonctionnent !).

Le principe est très simple, une partie de l’audience du site voit la version habituelle et une autre partie voit la version modifiée. Puis on mesure toutes les interactions avec du tracking, directement dans l’outil, afin d’identifier la variation « gagnante ».

Aujourd’hui, on s’intéresse à une fonctionnalité de lecture des résultats, CUPED.

Okay et CUPED c’est quoi ?

La fonctionnalité CUPED, pour Controlled-experiment Using Pre-Experiment Data, est une méthode de calcul statistique qui permet de réduire de manière significative les intervalles de confiance, les marges d’erreur, les tailles d’échantillon et la durée de l’expérimentation.

En d’autres termes, cet algorithme vous permet d’obtenir des résultats plus rapides, et plus fiables ainsi que de meilleures estimations.

En l’activant depuis votre écran de reporting dans votre outil Kameleoon, vous observerez que les taux de conversion de vos différents KPI vont évoluer à la hausse ou à la baisse, mais aussi que vos niveaux de fiabilité vont être presque toujours renforcés…

Au fait, c’est quoi un niveau de fiabilité ?

Pour expliquer cette notion, revenons un instant sur ce qu’est un taux de conversion et pourquoi c’est important.

Il s’agit par exemple du nombre de visiteurs qui remplit un formulaire sur votre site, fait un achat, en bref réalise une action X ou Y, rapporté au nombre de visiteurs total. On obtient ainsi un ratio en % qui va varier au cours d’un AB test de manière plus ou moins fiable selon le nombre de visiteurs exposés et l’impact de la modification testée. Ce qui nous intéresse, c’est comment ce taux évolue entre l’original (version A) et la variation (version B).

Dans ce contexte, la différence entre les 2 taux de conversion observés va être considérée par l’outil comme plus ou moins fiable. Le niveau de fiabilité est donc un seuil à partir duquel une différence entre 2 taux mesurés est effectivement considérée comme un changement de comportement et pas un simple hasard statistique.

En bref, plus la fiabilité est élevée, plus l’évolution du taux de conversion est jugée solide et peut amener à intégrer ou non le test selon son résultat.

D’accord, mais ça marche comment ?

Pour profiter pleinement des capacités de CUPED et qu’il vienne renforcer vos résultats de test, il faut avoir déjà installé Kameleoon sur votre site depuis quelque temps.

En effet, à partir du moment où il est installé sur votre site web, la solution compile des données issues du fonctionnement de votre site qui viennent nourrir son algorithme d’analyse.

L’outil gagne donc en pertinence avec le temps, et si vous êtes utilisateur de la première heure de la solution, il y a fort à parier que CUPED sera encore plus efficace. C’est une autre façon de capitaliser sur les expériences déjà menées.

Attention, nous parlons ici de données de navigation, d’interaction et d’usage de votre site web. Rien qui ne permette d’identifier vos visiteurs, l’idée c’est encore et toujours de mieux comprendre ce qu’ils font sur votre site pour le faire évoluer au plus près de leurs attentes.

Quand est-ce qu’on l’utilise ?

CUPED est utile quand on a besoin d’obtenir rapidement un résultat de test fiable.

Habituellement, pour atteindre rapidement un haut niveau de fiabilité, il faut compter un volume de visites important. Selon les modifications testées, plusieurs jours voire plusieurs semaines peuvent être nécessaires… Cela varie en fonction du trafic de votre site.

Nous conseillons donc d’utiliser CUPED lorsque l’on dispose déjà de données sur les visiteurs (et que l’on a donc déjà réalisé de nombreux tests) : parce que plus vous utilisez Kameleoon et plus vous récoltez de données qui servent à nourrir CUPED, et ainsi à atteindre des niveaux de fiabilité élevé en un minimum de temps.

Pour résumer…

CUPED est une fonctionnalité qui peut renforcer la fiabilité des résultats de vos expérimentations.

Elle permet d’atteindre plus rapidement la fiabilité sur vos résultats de tests, vous permettant ainsi de réduire la durée de ces derniers.

Pourquoi on vous en parle aujourd’hui ? C’est facile à utiliser et ça permet de capitaliser sur vos précédents tests menés donc évidemment, on valide !

Vous souhaitez en savoir plus sur notre méthodologie CRO ? C’est par ici !

L’auteur de cet article 

Joseph, Consultant Conversion & UX chez UNAMI, accompagne différents clients dans l’optimisation continue de leur site internet. Il a recours, dès que possible, à l’AB testing, afin de valider les solutions UX proposées par notre studio, avant qu’elles ne soient mises en production.