Comment faire de l’A/B testing sur un site à faible trafic ?

Comment faire de l’A/B testing sur un site à faible trafic ?

Quand je parle d’A/B testing, on me répond souvent que “ce n’est que pour les gros sites”, que c’est “un projet trop lourd à porter”, ou simplement “que ce type de solution n’est pas utile pour un site à faible trafic”.

Ce à quoi je m’empresse de répondre que … ça dépend.

En discutant avec les consultants qui accompagnent les projets de nos clients chez Kameleoon, on m’a même dit qu’un site qui tourne le dos à l’optimisation de l’expérience de ses utilisateurs, c’est comme un magasin physique qui néglige la propreté de ses locaux. Bref, ce n’est pas acceptable aux yeux du client.

Nasty - Comment faire de l’A/B testing sur un site à faible trafic

Nous réalisions fin 2016 une étude qui indiquait que 75% des sites avec plus d’un million de visiteurs font aujourd’hui de l’A/B testing. Je vous vois venir… Sauf que cette étude révèle aussi que 72% des entreprises qui font de l’A/B testing ont moins d’un million de visiteurs uniques chaque mois.

Qu’est-ce que le testing exactement ?

Définition : L’A/B testing est une expérience que l’on mène sur un site internet ou une application mobile qui vient valider des hypothèses d’optimisation comparées à la version originale. L’analyse statistique permet de voir ce qui fonctionne pour votre audience.

Parcourez notre page “Qu’est-ce que l’A/B testing”  et/ou téléchargez notre livre blanc de l’A/B testing pour en apprendre plus sur les fondements et les enjeux de la pratique.

Il existe deux écoles d’A/B testing :

  • L’école fréquentiste : la statistique fréquentiste repose sur la loi des observations. Elle est expérimentale (ou inductive). C’est la méthode historiquement utilisée par toutes les solutions d’A/B testing.
  • L’école bayésienne : la statistique bayésienne est déductive. Elle combine les données récoltées avec les connaissances a priori provenant soit d’études antérieures soit d’avis d’experts, dans le but d’obtenir une information a posteriori.
Hart - Comment faire de l’A/B testing sur un site à faible trafic

Plaît-il ?

Prenons un exemple pour bien comprendre la différence entre les deux : lançons une pièce 10 fois.

Selon l’approche fréquentiste, on dit qu’il existe une « vraie » probabilité d’obtenir pile. Si on obtient 6 fois pile, la probabilité d’obtenir pile (lors de cette expérience) est donc de 6/10 = 0.6. Évidemment, ce % convergera vers 0.5 si la pièce est lancée un nombre important de fois (voir exemple suivant).

Avec l’approche bayésienne, on ne s’intéresse pas à cette probabilité mais à sa loi a priori qui indique qu’une pièce équilibrée donne une probabilité d’obtenir pile de 0,5.

En somme, l’approche bayésienne requiert moins de trafic pour tirer des conclusions puisqu’elle exploite les évènements passés pour construire un résultat. Si cela permet de lancer plus facilement des tests sur des sites au volume de trafic faible, la méthode bayésienne présente certaines limites en terme d’A/B testing.

Dans cet article, je vous propose d’aborder le problème via la méthode fréquentiste, qui offre des résultats plus précis.

Et quelle est la difficulté sur un site à faible trafic ?

Inutile de vous mener en bateau, il est plus compliqué de mener un test sur un site à faible trafic avec la méthode fréquentiste. Difficile certes, mais pas impossible.

Prenons à nouveau un exemple. Je lance une pièce de monnaie dont la probabilité d’obtenir un pile est de 50%. Je la lance 10 fois.

1 2 3 4 5 6 7 8 9 10 % de pile
Pile Pile Face Pile Pile Face Pile Pile Pile Face 70%

Je réitère l’expérience plusieurs fois.

1 2 3 4 5 6 7 8 9 10 % de pile
Série #1 Face Face Face Face Pile Face Pile Face Pile Pile 40%
Série #2 Pile Face Face Pile Pile Pile Face Pile Face Face 50%
Série #3 Pile Pile Pile Pile Face Pile Pile Face Pile Pile 80%
Série #4 Pile Face Face Face Face Face Pile Face Face Face 20%
Série #5 Pile Pile Face Pile Pile Face Face Pile Face Face 40%

Alors que la probabilité statistique est de 50/50, j’obtiens des résultats beaucoup plus dispersés. Si l’on considère chaque série de lancers comme un test, on comprend vite qu’un échantillon trop faible peut donner des résultats qui ne collent pas du tout à la réalité et vous pousser à prendre de mauvaises décisions.

À l’inverse, si on lance cette pièce plus de 10 000 fois, on obtient un résultat bien plus proche de la vérité statistique, comme le veut la méthode statistique fréquentiste.

Simulation - Comment faire de l’A/B testing sur un site à faible trafic

Je vous rassure, je n’ai pas réalisé le test moi-même, mais à l’aide d’un simulateur de lancer de pièces.

Faites le test vous même, vous verrez. 

Un petit échantillon peut parfois vous donner une idée du résultat final, mais n’en tirez pas de conclusions étant donné qu’elles n’auront aucune valeur statistique avec une approche fréquentiste.

Vous connaissez maintenant la conséquence direct d’un faible trafic lorsque l’on souhaite lancer un test A/B : plus un échantillon est petit, moins il est fiable.

Comment donc faire de l’A/B testing avec un trafic faible ?

Tester les éléments clés de votre site … 

Avec un trafic faible, concentrez vos expériences sur les éléments et les pages qui accueillent la plus grande part de vos visiteurs.

Simon_site_faible_trafic“Si vous lancez un test sur une page avec un faible volume de trafic, vous risquez de devoir attendre très longtemps avant de pouvoir mettre fin à votre test. Or, un test trop long peut être influencé par beaucoup d’évènements (jours fériés, vacances, évènements politique, attentats, etc…) qui vont potentiellement altérer le comportement “normal” de vos visiteurs. Le résultat de votre test sera peut-être biaisé, vous poussant à potentiellement prendre de mauvaises décisions.”

Simon Chatelain, Consultant Kameleoon. 

Il existe de nombreux outils pour anticiper le trafic dont vous avez besoin pour mener un test significatif. La solution de Kameleoon intègre un calculateur de durée de test, mais vous pouvez aussi aussi utiliser celle que propose gratuitement Evan Miller.

Comment utiliser le calculateur de durée de test ? 

  1. Baseline conversion rate = Taux de conversion observé : indiquez le taux de conversion actuel de votre page / de l’élément que vous souhaitez soumettre à un test.
  2. Minimum Detectable Effect = Minimum de variation souhaité par rapport à l’original : de manière absolue (écart minimum en point de %), ou relative (en indiquant le % minimum de variation). Plus vous recherchez une variation de conversion faible, plus vous devez miser sur un trafic important. À l’inverse, et comme le montre notre démonstration de lancers de pièces, si vous indiquez un minimum de variations important, vous n’avez besoin que d’un faible volume de visiteurs.

Pour tester sur un site à faible trafic, il faut viser des améliorations très importantes

Vous l’avez compris, l’A/B testing requiert un minimum de trafic. Vous avez néanmoins pu constater avec la calculatrice de Miller que vous n’avez pas besoin de millions de visiteurs pour lancer un test A/B.

Attention, si quelques milliers de visiteurs uniques par variante peuvent suffire, il faut aussi que vous ayez un minimum de conversions à analyser.

Exemple : vous lancez un test A/B sur le CTA principal votre page d’accueil. Si chaque variante reçoit 10 000 visiteurs, c’est très bien, mais si vous n’obtenez que quelques dizaines de conversions par variante, il sera difficile de prendre une décision. 

En temps normal, nos consultants recommandent de ne pas mettre fin à un test si vous avez moins de 1 000 conversions (si et quand le volume de trafic le permet). Dans le cas d’un site à faible trafic, comptez au moins quelques centaines de conversions.

Plus vous souhaitez tester un élément spécifique, plus votre trafic doit-être important. De même, si vous voulez tester une page au faible taux de conversion, vous avez besoin d’un trafic plus important. Cela peut varier d’un minimum de 1000 visiteurs uniques (valable sur des tests aux taux de conversion élevés de type menu, landing pages, CTA, etc.) à quelques centaines de milliers (notamment dans le cas de tests dans votre tunnel de conversion). Jean-Noël Rivasseau, CTO de Kameleoon, vous en parle plus en détail dans son article : A/B testing : Votre trafic est-il suffisant ?

Je vous livre ici 3 exemples de tests que vous pouvez mener sur votre menu, votre page d’accueil et vos fiches produits. 

Votre menu

C’est la pierre angulaire de n’importe quel site. Le menu est l’un des éléments clés d’accessibilité et de navigation pour les visiteurs. Il est donc essentiel d’y consacrer une attention toute particulière.

  • L’exemple Schmidt :   

Schmidt - Comment faire de l’A/B testing sur un site à faible trafic

Le menu de référence du site était surchargé et mélangeait les informations. Il n’avait pas d’objectif précis. Le but de cette refonte était de diminuer le taux de rebond de la page d’accueil, d’augmenter les taux de clics sur les CTAs principaux et d’accroitre les prises de rendez-vous. 

Mission réussie ? 

Avec une augmentation des clics située entre 40 et 317% sur les boutons du menu de la variante 2, ce test A/B est une franche réussite. 

Votre page d’accueil

La page d’accueil est le point d’entrée le plus commun de n’importe quel site.

C’est en toute logique la page de votre site qui accueille le trafic le plus soutenu. S’il y a bien une page sur laquelle vous devriez lancer un test A/B lorsque vous avez un trafic relativement faible, c’est votre page d’accueil.

L’exemple Welcome Office

Welcome Office est un distributeur de fournitures de bureau. C’est aujourd’hui le n°1 du discount aux entreprises sur Internet.

Une analyse du site WelcomeOffice.com a révélé que la page d’accueil du site avait un potentiel de conversion intéressant. Les équipes de Welcome Office on donc réalisé un audit ergonomique afin d’analyser en détail le comportement des visiteurs sur cette page.

À partir de cet audit, Welcome Office a mené un test A/B sur sa page d’accueil afin d’identifier le template qui plait le plus aux visiteurs. 

Deux objectifs

  • retenir les visiteurs sur la site et les inciter à naviguer sur les pages plus profondes (catalogue, fiches produit, etc.),
  • Augmenter le taux de conversion

Welcome Office - Comment faire de l’A/B testing sur un site à faible trafic

Résultat :  Un hausse du taux de conversion de 30% !

Simon_site_faible_traficLe site de WelcomeOffice accusait un retard technique par rapport aux exigences nouvelles des visiteurs. Ce test A/B a permis de considérablement améliorer l’expérience de navigation de leurs visiteurs et c’est sans surprise que l’on a remarqué une telle hausse du taux de conversion.

-Simon Chatelain, consultant Kameleoon.

Le site a encore évolué depuis

Vos fiches produit

geraud_site_faible_traficJe conseille souvent à mes clients qui ne profitent pas d’un volume de trafic très important de travailler sur des templates de page plutôt que sur des pages en particulier. En configurant bien son test, cela permet de mener des tests sur l’ensemble des pages produits, ou catégories, etc. 

Géraud Bornet, Consultant Kameleoon.

La bonne pratique : si la page d’accueil est souvent la page la plus vue, on peux arriver à des volumes bien plus importants en regroupant les contenus sur son outil d’analytics :

GA - Comment faire de l’A/B testing sur un site à faible trafic

Ici, on remarque que si la page d’accueil est celle qui réuni le plus de trafic, elle est bien derrière l’ensemble des pages catégories et fiches produits, une fois réunies. Si vous n’avez pas beaucoup de trafic et souhaitez tester l’ergonomie de vos fiches produits, regroupez vos pages.

  • L’exemple Mobibam

Mobibam est une startup qui vous permet de concevoir votre propre meuble sur-mesure. Sur le site de Mobibam, c’est le visiteur qui crée son produit lui-même. Bien qu’il s’agisse d’un exemple atypique, vous pouvez tout à fait vous y reconnaître.

Le site compte en moyenne 15 000 visiteurs uniques par mois.

Les visiteurs doivent se rendre sur le configurateur du site pour choisir les matériaux, les finitions, les dimensions et les différents éléments du meuble qu’ils ont imaginé pour lui donner vie.

Le configurateur doit donc être intuitif, simple d’utilisation et accessible à tous. Dans le cas contraire, le visiteur quittera le site sans même avoir terminé la confection du meuble. Pour s’assurer de l’efficacité de son configurateur et proposer une expérience positive à ses visiteurs, Mobibam a eu recours à l’A/B testing.

Mobibam - Comment faire de l’A/B testing sur un site à faible trafic

En optimisant et en simplifiant l’interface de leur configurateur de meuble, les équipes de Mobibam ont augmenté leurs conversions de 325% !

mia_site_faible_traficAvec un test se concentrant sur l’une des pages les plus visitées du site, il était simple pour les équipes de Mobibam de réaliser un test A/B pour prendre une décision à partir de ce que préfèrent les acheteurs potentiels de meubles sur-mesure. 

-Mia Warde, consultante Kameleoon.

jn_site_faible_traficDe manière assez claire, les sites à faible trafic sont tout à fait aptes à l’A/B testing à condition de concentrer leurs tests sur des landing pages ou des modifications pour lesquelles les gains de conversion sont potentiellement substantiels (de type taux de clics sur des bannières, inscription à une newsletter, formulaire à remplir pour les sites B2B à l’audience qualifiée). Des tests sur le tunnel de conversion ne sont pas exclus mais à condition que le potentiel d’amélioration soit significatif (ce qui est souvent le cas de sites récemment créés).

Jean-Noël Rivasseau, CTO Kameleoon

et ne faites pas de test multivariés (MVT)

Il est possible de tester plusieurs éléments en simultané sur une page web : une bannière, un titre, une description, une vidéo, etc.

Un outil d’A/B testing comme Kameleoon génère alors autant de variantes qu’il y a de combinaisons pour déterminer laquelle à le plus grand impact sur vos taux de conversion.

Le problème est que le MVT nécessite un volume énorme de trafic pour pouvoir tester toutes les variantes et obtenir un résultat scientifiquement valide pour toutes.

MVT - Comment faire de l’A/B testing sur un site à faible trafic

Sur un site à faible trafic, le MVT est à bannir.

Interrogez directement votre audience

C’est ce qu’ont décidé de faire les équipes d’Ooreka. Soucieuses de proposer un service le plus qualitatif qui soit à leurs visiteurs, elles ont demandé à leurs visiteurs de donner leur avis sur le site avec un questionnaire qui apparaissait via une pop-in.

Deux enjeux se présentaient alors :

  • Comment récolter une majorité d’avis objectifs ?
  • Comment réduire la part des visiteurs qui fermeront la pop-in sans même la lire ?

À ces deux problèmes, les équipes d’Ooreka ont trouvé une unique solution.

Le segment visiteur ciblé est uniquement composé des visiteurs qui se rendent sur les pages profondes du site (c’est à dire au delà de la page d’accueil), quel que soit le canal d’acquisition, après minimum 20 secondes de navigation.

Cela permet de ne s’adresser qu’aux visiteurs susceptibles d’être plus réceptifs à la pop-in et qui sont en capacité de juger si leur expérience était de qualité ou non.

Existe-t-il d’autres méthodes ?

Oui, mais elles ne sont pas aussi fiables et objectives que l’A/B testing.

Si votre site n’attire tout au plus que quelques milliers de visiteurs, autant vous dire que mener un test risque 1.  de demander beaucoup de temps et 2. de délivrer des résultats discutables d’un point de vue scientifique. Il existe pour cela quelques méthodes alternatives (à ne suivre qu’en dernier recours dans le cadre de l’optimisation de l’ergonomie d’un site).

Réaliser des tests séquentiels

Attention !! Avant de vous lancer dans une série de tests séquentiels, vous devez comprendre que c’est une pratique risquée.

Si votre trafic vous le permet, ne réalisez pas de tests séquentiels. Dans le cas contraire, soyez très vigilant(e). Optimiser l’UX d’un site ne se limite pas à faire de l’A/B testing. D’autres techniques comme les tests séquentiels le permettent aussi. En revanche, les risques inhérents sont plus importants de cette façon. C’est le prix à payer pour une ergonomie de qualité lorsque le volume de trafic ne permet pas de faire autrement.

  • Qu’est-ce qu’un test séquentiel ?
  • Et pourquoi est-ce risqué ?

Vous réalisez un test séquentiel lorsque vous étudiez deux variantes d’une page non pas simultanément, mais l’une après l’autre. Cela permet d’obtenir un résultat théoriquement significatif deux fois plus vite puisque le trafic n’est pas aléatoirement réparti entre les différentes variantes.

En revanche, c’est aussi risquer l’influence de différents biais tout au long des deux tests (mois de l’année, périodes de vacances, évènements politiques, etc.). Ces biais peuvent altérer le comportement de vos visiteurs et fausser les résultats. Vous appliqueriez alors des résultats faux sans même le savoir.

No idea - Comment faire de l’A/B testing sur un site à faible trafic

Réalisez des tests d’usages

Avec un test d’usage, on s’éloigne quelque peu de la pratique de l’A/B testing.

Je m’explique. L’A/B Testing repose sur une base quantitative. Il repose sur le choix du plus grand nombre. Le test d’usage est une technique d’optimisation de la conversion d’ordre qualitative. Elle peut aider à mieux comprendre si oui ou non vos visiteurs trouvent simple de réaliser certaines tâches sur votre site.

L’avantage de cette technique est que vous obtenez très vite des réponses. En revanche, petit échantillon oblige, vos résultats seront bien plus subjectifs.

À coeur vaillant, rien d’impossible

Si l’A/B testing est l’une des pratiques d’optimisation UX préférées des marketeurs, c’est parce qu’elle est simple et efficace. Rapide à mettre en place, elle permet d’obtenir très vite des résultats fiables basés sur ce que veulent vos visiteurs (au lieu de vos propres intuitions, nécessairement biaisées).

Si tout le monde peut faire de l’A/B testing, il existe pourtant une limite : le trafic. Avec un volume de trafic trop faible, les portes dorées de l’A/B testing risquent de se fermer sur votre nez. Pourquoi ? Parce qu’une solution d’A/B testing, aussi avancée soit-elle, ne peut pas identifier de variante gagnante de façon significative sans un trafic suffisamment représentatif.

Comme je le montre dans cet article, des astuces existent pour mener des tests significatifs avec un trafic faible. Ceci étant, vous ne pouvez pas songer à lancer un test A/B avec des centaines de visites uniques chaque mois.

Si vous voulez approfondir votre connaissance de l’A/B testing et mieux en comprendre les enjeux, inscrivez-vous à notre nouvel Email Course de 17 jours (en anglais). Ce cours vous apprendra les rouages du testing et vous pourrez obtenir un diplôme à l’issue d’un test de 20 questions. 

S'inscrire à notre cours gratuit

Clément René

Content marketer chez Kameleoon, Clément analyse tous les retours de nos clients et consultants et partage les meilleures pratiques d’optimisation de l’expérience utilisateur.

Des articles qui pourraient vous intéresser