Comment réagir face à un test A/B non-concluant ?

Comment réagir face à un test A/B non-concluant ?

Dans une stratégie d’A/B testing, on ne gagne pas à tous les coups ! Une augmentation de 70% du taux de conversion n’est malheureusement pas chose quotidienne. Vous obtiendrez des résultats positifs, d’autres négatifs, mais également des résultats ne vous permettant pas de tirer de conclusions et de choisir une variante plutôt qu’une autre. 

Tests A/B non-concluants - - Balinea : Quelle stratégie adopter face à des tests A/B non-concluants ?

Pas de problème, on a des solutions !

Pauline Marol, Head of Product chez Balinea, s’est retrouvée face à des résultats de tests A/B non-concluants. Elle vous parle de ses difficultés et vous dévoile ses solutions pour pallier ce problème, rencontré par de nombreux marketeurs.

 

Qu’est-ce qu’un test A/B non-concluant ?

Un test A/B non-concluant signifie que les résultats obtenus ne vous permettent pas de tirer des conclusions fiables sur le comportement de vos visiteurs, alors que tous les éléments à prendre en compte avant de stopper un test sont réunis (indice de confiance, taille d’échantillon, durée d’un test et variance des données).

Vous vous retrouvez alors dans l’un de ces cas de figure :

  • L’indice de confiance n’est pas suffisamment élevé. Kameleoon calcule une valeur statistique vous donnant l’assurance ou non que le résultat de votre test A/B est concluant. Si vous avez un indice de confiance d’une valeur de 60%, vous avez 40% de chance pour que vos résultats soient faussés. Dans ce cas, si vous reproduisez votre test A/B, dont la variante B est sortie vainqueur, dans les mêmes conditions, vous avez 40% de chance pour que cette fois-ci ce soit la variante A qui le remporte. On estime qu’un indice de confiance doit se situer entre 90% et 100%.
  • L’indice de confiance n’est pas stable. Pour que votre indice de confiance soit considéré comme stable, il doit avoir une valeur équivalente pendant au moins 3 jours consécutifs.

Courbe de l’indice de confiance depuis le lancement d’un test A/B

Indice de confiance - - Balinea : Quelle stratégie adopter face à des tests A/B non-concluants ?

  • Le taux de conversion obtenu pour chaque variante est trop proche pour que l’une d’entre elles soit considérée comme plus performante. L’impact sur le KPI n’est donc pas significatif.

Test A/B non-concluant - Comment interpréter un test A/B non concluant ?

Pauline Marol - Balinea : Quelle stratégie adopter face à des tests A/B non-concluants ?Chez Balinea, nous faisons de l’A/B testing depuis début 2016. Au début les bonnes pratiques de l’A/B testing n’étaient pas suffisamment maîtrisées et les tests A/B étaient lancés de façon plus ou moins régulière, avec peu de rigueur sur les hypothèses de départ.

 

Depuis Septembre 2016 nous avons beaucoup travaillé sur notre programme d’A/B testing. Nous avons mis en place un process précis et nous avons formé l’équipe aux statistiques et analytiques pour consolider notre stratégie d’optimisation, incluant :

  • Une formation basique à l’A/B testing (best practices, compréhension des résultats…),
  • Une fiche descriptive par test A/B permettant de bien poser les hypothèses de départ,
  • Un backlog d’idées,
  • Un fichier de suivi des tests,
  • Des analyses plus rigoureuses des résultats des tests A/B.

Malgré un process rigoureux, les résultats des campagnes d’A/B testing sont assez décevants. Environ 75% d’entre eux sont non-concluants. Nous n’en tirons aucun enseignement, comme si nos utilisateurs n’avaient pas vu la différence entre les variantes, et c’est une perte de temps pour l’équipe.
-Pauline Marol, Head of Product, Balinea

 

Pourquoi obtient-on des tests A/B non-concluants ?

Lorsque les tests A/B menés sur le site de Balinea se révèlent non-concluants, plusieurs facteurs entre en jeux.

Pauline Marol : « Notre point de blocage principal est le faible trafic. Nos tests doivent parfois rester en ligne 2 ou 3 mois pour atteindre un indice de confiance de 95%.

Par ailleurs, l’équipe est encore très jeune sur le sujet. Les outils et les bonnes pratiques ne sont pas maîtrisés à 100%. Et malgré que l’A/B testing soit un élément important dans notre stratégie produit, personne n’a pu réellement se l’approprier pour maximiser nos chances de réussite. »

Les conséquences en interne

Lorsque vous entreprenez de faire de l’A/B testing sur votre site, la première étape est de défendre cette pratique en interne, dans le cadre de votre stratégie digitale, et de prouver son efficacité.

Pauline Marol : « Aujourd’hui chez Balinea, toutes les équipes sont sensibilisées à l’AB testing et les résultats sont partagés avec tout le monde de manière mensuelle. »

Cependant, les résultats non-concluants peuvent avoir des conséquences négatives sur la culture de l’A/B testing que vous avez insufflée à vos équipes.

Pauline Marol : « J’ai observé une baisse générale de l’enthousiasme et de la motivation des équipes produit et technique autour de l’A/B testing.

Tous les mois, nous nous réunissons pour jouer aux devinettes : pour chaque test A/B, les équipes doivent deviner la variante gagnante avant de découvrir les résultats. Cela me permet de leur rappeler à quel point l’analyse des résultats et du comportement de nos visiteurs est essentielle à l’évolution de notre site. Cependant, lorsque 8 fois sur 10 les résultats sont non-concluants, le jeu devient moins amusant. »

Voici 2 exemples de tests A/B réalisés sur le site de Balinea, dont les résultats se sont révélés non-concluants :

  • Test A/B sur la couleur du CTA « Réserver » de la version mobile du site :

A/B test CTA - Balinea : Quelle stratégie adopter face à des tests A/B non-concluants ?

  • Test A/B sur le CTA de confirmation de paiement de la page « Finaliser ma commande » :

Test A/B wording - Balinea : Quelle stratégie adopter face à des tests A/B non-concluants ?

Pauline Marol : « Aujourd’hui, je fais face à des questionnements en interne, tels que « Pourquoi est-ce que l’on fait de l’A/B testing ? » ou « Peut-on lancer le test A/B et voir ce que ça donne après la mise en production ? ». »

 

Quelle stratégie adopter pour pallier le problème des tests A/B non-concluants ?

Pour pouvoir améliorer continuellement le site de Balinea, Pauline a adapté sa stratégie d’optimisation en 3 points :

1. Placer l’analyse de la donnée au centre de chaque campagne

Pauline Marol : « Notre analyste va devenir la pièce centrale de nos campagnes d’A/B testing. Il devra se baser sur la data afin de proposer des tests A/B plus pertinents, de valider les hypothèses et de faire une analyse minutieuse des résultats obtenus. »

Analyse test A/B - Balinea : Quelle stratégie adopter face à des tests A/B non-concluants ?

 

2. Mettre en place de tests A/B plus complexes et structurants

Pauline Marol : Les objectifs de l’équipe produit ne seront plus axés sur la quantité mais la qualité des campagnes pour éviter le plus possible d’avoir des résultats non-concluants. Nous allons chercher des hypothèses sur lesquelles nous prendrons des risques pour en tirer de réels enseignements. Fini les tests de couleurs de boutons ou de liens ! Nous allons nous concentrer sur des éléments structurants, pouvant réellement impacter l’expérience de nos utilisateurs. »

3. Fêter uniquement les résultats concluants (positifs et négatifs)

Pour créer une énergie positive au sein des équipes, Pauline continuera de fêter les résultats des campagnes d’A/B testing, positifs comme négatifs, tant qu’il permette d’en apprendre plus sur les utilisateurs.

Célébration des résultats de tests A/B - - Balinea : Quelle stratégie adopter face à des tests A/B non-concluants ?

Pauline Marol : « Tout en restant 100% transparents sur nos tests A/B en interne, nous souhaitons attendre d’avoir plus de résultats concluants pour en discuter avec l’ensemble des équipes de Balinea. »

Le dernier test A/B a été réalisé sur les pages listing de Balinea. Plus complexe qu’un simple changement de couleur ou de wording, la disposition des informations des établissements a été revue dans son intégralité :

Test A/B listing - Balinea : Quelle stratégie adopter face à des tests A/B non-concluants ?

Contre toute attente, Balinea a observé une baisse de 10% de taux de transformation sur la variante B. Un réjouissement pour les équipes qui ont pu en tirer des conclusions précises sur le comportement de leurs utilisateurs.

 

En résumé

Nelson Mandela - Comment interpréter un test A/B non concluant ?« Je ne perds jamais. Soit je gagne, soit j’apprends. »

Nelson Mandela

 

Lorsque vous avez peu de trafic sur votre site web, l’accumulation de tests A/B relativement simples ne sera pas la meilleure stratégie à adopter pour obtenir des résultats concrets. L’analyse de la data est une étape clé et indispensable à la création d’hypothèses fondées, vous permettant ainsi de créer des campagnes plus poussées et complexes.
Contrairement aux tests A/B non-concluants, lorsque vos résultats sont positifs et négatifs, ils vous permettent toujours d’en savoir plus sur les parcours de navigation de vos visiteurs. Vous en tirerez des enseignements concrets, mis en évidence par les chiffres et leur analyse.

Pour tout savoir sur la pratique de l’A/B testing, découvrez notre livre blanc en le téléchargeant gratuitement !

livre blanc ab testing kameleoon

Mariette Gernez

Mariette est product content marketer chez Kameleoon. Elle analyse les meilleures campagnes d’A/B testing et de personnalisation pour vous donner les outils et les sources d’inspiration nécessaires qui feront de vous un pro de l’optimisation de la conversion.

Des articles qui pourraient vous intéresser