3 pièges d’A/B testing et comment les éviter

3 pièges d’A/B testing et comment les éviter

La pratique de l’A/B testing apporte beaucoup à des millions d’entreprises. La montée en compétence des équipes marketing peut s’effectuer rapidement, permet de multiplier les tests et d’optimiser l’expérience utilisateur continuellement. Ceci dit, il y a des règles à suivre et les pièges d’A/B testing sont bien réels (et sont capables d’altérer vos résultats). Nous vous en présentons 3 aujourd’hui.

Le piège de la connaissance

C’est le « curse of knowledge ». Cette expression signifie que lorsque l’on sait quelque chose, il est difficile d’imaginer l’oublier.

Or, se mettre dans la peau d’un visiteur demande un regard neuf. Pourtant, la connaissance intime d’un site web empêche de repérer des détails qui influent le comportement des visiteurs.

Pour contourner ce piège, nous recommandons d’adopter la pratique du « Mommy’s test ». C’est à dire de solliciter une personne étrangère à votre site (et idéalement sans connaissances informatique avancées).

Donnez-lui un objectif clair à réaliser sur votre site et notez ses réactions. Ses hésitations ou incompréhensions mettront peut-être en évidence des «grains de sable » que plus personne ne remarque en interne.

Cela fournira en tout cas autant d’enseignements qui serviront à définir de nouvelles hypothèses de test.

Le saviez-vous ? La carte de chaleur de Kameleoon permet d’étudier le comportement de vos visiteurs et de combattre ce piège.

Ne regarder qu’un seul KPI

Avant de lancer un test, il faut définir vos KPIs. Quels éléments comptez vous mesurer et/ou améliorer ?

Une variante qui génère une augmentation des ventes mais qui décuple les coûts logistiques n’est pas forcément une bonne affaire ; l’augmentation significative de votre revenu publicitaire par un emplacement plus approprié de vos bannières a une probabilité non négligeable de dégrader vos ventes ; l’optimisation dans le but d’acquérir de nouveaux visiteurs peut se faire au détriment des anciens, etc.

Dans les faits, il est très rare d’améliorer l’ensemble de ses KPIs par une seule expérience.

Bien souvent (et presque systématiquement dès lors que le site est déjà à un bon niveau de conversion), un test donné améliorera un ensemble de KPIs et dégradera un autre ensemble.

Par conséquent, la difficulté de l’exercice réside dans le fait d’arbitrer les différentes options en fonction des objectifs de l’entreprise et de sa stratégie.

On notera là encore que le principal atout du web testing est de fournir des chiffres indiscutables qui serviront de support à une décision éclairée.

Ne pas multiplier les tests

Une des idées reçues sur l’A/B testing est que la réalisation en simultané de plusieurs tests serait proscrite, car elle ne permet pas de déterminer si une augmentation de la conversion est attribuable à l’un ou l’autre des tests.

C’est ne pas comprendre le fonctionnement fondamental de l’A/B testing, qui repose sur une vérité statistique objective et non individuelle.

Interrogez-vous simplement sur la possibilité d’une corrélation entre deux variantes :

Si l’une a un parti-pris très marqué (par exemple un bandeau annonçant la gratuité des frais de port) ou si les deux variantes sont fortement liées (par exemple des modifications de blocs proches sur la même page ou des changements de wording et de couleur simultanés du même bouton), une corrélation peut exister : il faut mener ces tests consécutivement et non en simultané.

En revanche, dès que deux variantes portent sur différents endroits du site et ne concernent pas des changements structurants de votre offre, n’ayez aucune crainte à les lancer en simultané : un visiteur en fin de tunnel de conversion n’est plus du tout influencé par la couleur du CTA correspondant à votre test sur la page d’accueil…

Ainsi, nous vous recommandons de garder la possibilité de mener plusieurs tests en parallèle, notamment sur les sites à faible trafic pour lesquels se limiter à un seul test réduit de fait la possibilité d’en mener un grand nombre dans le temps, étant donnée leur durée moyenne.

Les acteurs les plus matures du web testing (Google, Amazon, Facebook…) réalisent tous de manière continue des dizaines de tests en parallèle.

En espérant que ces conseils vous apporteront conversion et optimisation.

livre blanc ab testing kameleoon

Alexis Chevallier

Online Marketing Manager à Kameleoon, Alexis est passionné par les solutions d'optimisation de la conversion, et plus spécifiquement spécialisé dans l'A/B testing et la personnalisation.

Commentaires ( 4 )
  1. David Oudiette
    11 juin 2015 at 08:41
    Répondre

    Personnellement, j’aurais tendance à remettre en question le point 2, ou du moins à nuancer.

    Il me semble beaucoup plus sage de choisir ex ante un indicateur unique sur lequel reposera la règle de décision qui dictera s’il y a succès ou non pour le test. Cela n’empêche pas de mesurer d’autres KPI, bien entendu.

    Mais si on joue avec plusieurs KPI et qu’il faut arbitrer ex post, on complique le processus de décision inutilement en introduisant la plupart du temps des facteurs arbitraires.

    http://blogs.adobe.com/digitalmarketing/personalization/7-deadly-sins-of-testing-no-single-success-metric/

    • Alexis
      11 juin 2015 at 16:44
      Répondre

      Bonjour David et merci pour votre commentaire !
      Nous sommes d’accord sur le fait qu’il faut se concentrer sur un KPI qui dictera le succès ou non du test mené, c’est d’ailleurs ce que fait la majorité de nos clients.
      Cependant pour certains tests avancés il est essentiel de regarder d’autres indicateurs pour s’assurer du succès ou non du test. Si vous augmentez les ventes d’un produit par la présence d’un top produit en tête de liste par exemple, et que les ventes des autres produits du listing se dégradent, le test ne sera finalement pas un succès au regard de KPI plus secondaires.
      De même, comme vous pouvez le voir dans notre cas client Club Med (http://www.kameleoon.com/landings/clubmed), si Club Med n’avait analysé que la conversion de la première étape, ils en auraient conclu que les messages d’urgentisation convertissaient moins de visiteurs. C’est grâce à une analyse plus fine que Club Med s’est aperçu que l’affichage des messages avaient un impact sur les dernières étapes de réservation.

      • David Oudiette
        11 juin 2015 at 17:12
        Répondre

        Vous mettez le doigt sur un problème très intéressant dans la façon récurrente qu’il a de s’immiscer dans les têtes des testeurs novices, mais qui me semble un peu différent. 🙂

        Certes, comme vous l’illustrez, des problèmes peuvent se poser si l’on se fie à un indicateur comme un taux de conversion à un point donné d’un funnel sans regarder le funnel dans son ensemble, ou à un nombre de ventes sans regarder le volume.

        Mais cela remet plutôt en cause la pertinence des indicateurs choisis (taux de conversion/nombre de ventes vs. impact sur le bottom line), plutôt que le bien fondé d’en avoir un seul.

        Par ailleurs, votre exemple montre précisément le problème que je décrivais : en admettant que le produit phare se vende mieux et que les autres produits se vendent moins bien, quelle décision prendre à partir de ces données ? En utilisant un seul KPI bien choisi (impact sur le chiffre d’affaires, chiffre d’affaires par visiteur), la question ne se pose plus.

        • Alexis
          15 juin 2015 at 11:15
          Répondre

          Bonjour David,

          Je tiens d’abord à vous remercier pour votre commentaire que je trouve très intéressant.

          Personnellement, pour moi un test A/B formulé avec plusieurs KPI (critères, objectifs) est comme un problème d’optimisation multicritère où on essaie d’optimiser simultanément plusieurs objectifs d’un même problème. Il est donc difficile, voire impossible de trouver « la » solution optimale pour ce problème mult-critère. Il existe cependant un « ensemble » de solutions optimales, formant ce qu’on appelle la « frontière de Pareto ».

          Il se trouve que chacune des solutions est déterminée en fonction de l’ensemble des autres. Ainsi, mathématiquement il est possible d’obtenir un ensemble de solutions pour un problème formulé avec plusieurs critères.

          Cependant, et comme vous le mentionner si bien dans votre dernier commentaire, il se pourrait que dans le cas particulier des tests A/B, les indicateurs choisis ne sont pas pertinents. En effet, chaque site, chaque expérience a sa spécificité, c’est la raison pour laquelle nous recommandons nos clients de bien définir les objectifs (primaires, secondaires). Ceci nous conduit à mieux appréhender le test et définir le meilleur indicateur de performance en terme de pertinence.

Laisser une réponse
Quelle est la capitale de la France ?