Test A/B : résultats opposés selon l'utilisateur

Imaginez que vous lancez un test A/B, attendez les semaines nécessaires pour obtenir un échantillon solide et le résultat arrive : pas de gagnant. La variante ne surpasse pas le contrôle. Vous clôturez le test, notez l'apprentissage et passez au suivant. C'est ainsi que cela est censé fonctionner.

Mais dans trois tests distincts que nous avons menés chez Boost —avec deux clients de secteurs complètement différents— ce "pas de gagnant" cachait en réalité un gagnant très clair. Il suffisait de regarder le résultat par segment d'utilisateur, et non en agrégat.

Ce billet explique pourquoi cela se produit, avec les données réelles de ces trois cas, et ce que vous devez changer dans la façon dont vous analysez vos propres tests A/B pour ne pas écarter par erreur une variante qui fonctionne réellement.

Le problème d'analyser les tests uniquement en agrégat

Lorsque vous lancez un test A/B, il est normal de regarder un seul chiffre : la conversion du contrôle par rapport à celle de la variante, sur le total des utilisateurs. Si elle dépasse le seuil de confiance, elle a gagné. Sinon, elle n'a pas gagné. Fin de l'histoire.

Le problème est que ce chiffre agrégé mélange deux publics qui se comportent de manière très différente : l'utilisateur qui arrive pour la première fois sur votre site web et celui qui vous connaît déjà. Si l'effet est très positif chez l'un et neutre ou négatif chez l'autre, la moyenne des deux peut apparaître comme un match nul qui n'existe pas en réalité.

Notre méthodologie de définition d'hypothèses insiste déjà sur la bonne isolation de la variable testée. Mais il y a une deuxième couche qui est souvent négligée : isoler également à qui vous testez cette variable.

Ce que disent les données : trois tests, deux clients, un même schéma

Nous ne parlons pas d'une théorie. Nous parlons de trois tests A/B réels, sur deux comptes Boost de secteurs différents, avec le même schéma se répétant presque à l'identique.

Cas 1 — Mettre en avant la réduction (The Excellence Collection)

Sur la landing page d'une offre ponctuelle de The Excellence Collection, nous avons testé la mise en évidence visuelle du pourcentage de réduction en haut de la page, conçue principalement pour le mobile.

En agrégat : +4,5%, avec 84% de probabilité de gain. Cela n'atteint pas le seuil de décision de 90% exigé par le compte. Test clôturé sans gagnant.

Mais en segmentant par type d'utilisateur, la lecture change complètement : les utilisateurs récurrents ont augmenté de +9,9% avec 96,3% de confiance —dépassant largement le seuil—. Les nouveaux utilisateurs, en revanche, sont restés complètement stables (0,4%).

Le "match nul" de l'agrégat était en réalité un utilisateur récurrent qui répondait fortement, dilué par un nouvel utilisateur à qui la variante ne disait rien.

Cas 2 — Preuve sociale et avis (The Excellence Collection)

Sur la même landing page, nous avons testé l'ajout de la note Google et de témoignages mis en avant.

Résultat agrégé : +3,05%, 74,4% de confiance. Cela n'atteint pas non plus le seuil.

Encore une fois, en segmentant : les récurrents ont augmenté de +10,52%, tandis que les nouveaux utilisateurs ont chuté de 7,99%.

Deux effets de signe contraire, s'ignorant presque complètement dans le chiffre global.

Cas 3 — Blocs de confiance dans un advertorial (Viuty)

Chez Viuty, nous avons testé l'ajout de preuve sociale, de FAQ et d'un module de réduction dans un advertorial de captation.

Ici, le résultat agrégé était clair : négatif, 10,06% à l'achat.

Mais la ventilation par segment raconte à nouveau l'histoire réelle : les utilisateurs récurrents ont presque égalé en conversion et ont augmenté le revenu par visiteur (+5,88%).

Ce sont les nouveaux utilisateurs qui se sont effondrés : 28% en conversion et en revenu.

Comme l'advertorial vit de trafic froid, cette baisse de 28% a annulé tout gain chez les récurrents.

Pourquoi cela se produit dans vos résultats de tests A/B

Le mécanisme sous-jacent est toujours le même : la confiance et la preuve sociale fonctionnent comme un renforcement, pas comme une présentation.

Un utilisateur récurrent a déjà une opinion formée sur votre marque ; lorsque vous lui montrez des reviews, des garanties ou une réduction bien mise en avant, vous confirmez quelque chose qu'il pressentait déjà, et cette confirmation réduit la friction dans la dernière ligne droite avant de convertir.

Un nouvel utilisateur n'a pas ce contexte préalable. Il n'est pas en train d'évaluer s'il vous fait "un peu plus" confiance, il est en train de décider s'il vous fait confiance. Point.

Et à ce moment-là, des éléments qui sont un coup de pouce pour un utilisateur récurrent peuvent être du bruit pour un nouvel utilisateur, ralentir la lecture ou même générer la question contraire à celle que vous cherchiez à résoudre.

Ce que cela implique pour votre analyse de tests A/B

Segmenter par type d'utilisateur dès la conception du test, pas seulement lors de l'analyse

Si vous testez un levier de confiance ou de preuve sociale, définissez dès la conception du test que vous lirez les résultats séparément pour les nouveaux et les récurrents.

Ce n'est pas un extra optionnel de l'analyse : c'est l'information dont vous avez besoin pour ne pas écarter un vrai gagnant ou, pire, pour ne pas implémenter une variante qui nuit en réalité à votre segment de plus grand volume.

Quand un test "sans gagnant" en agrégat a bien un vrai gagnant

Règle pratique : si l'agrégat reste proche du seuil de confiance (par exemple, entre 70% et 90%), examinez la ventilation avant de clôturer le test comme un échec.

Si un segment dépasse clairement le seuil et que l'autre est neutre, vous n'avez pas un test sans gagnant —vous avez un gagnant qui ne s'applique qu'à une partie de votre trafic.

C'est une information parfaitement exploitable : vous pouvez lancer une deuxième version du test ciblée uniquement sur ce segment, avec son propre groupe de contrôle, pour confirmer l'effet de manière isolée.

Comment appliquer cette segmentation dans votre entreprise

Il n'est pas nécessaire d'avoir le volume de trafic de The Excellence Collection ou Viuty pour appliquer cela. Tout test A/B avec un échantillon minimum de nouveaux et d'utilisateurs récurrents peut être segmenté de la même manière.

L'important est l'habitude : avant de clôturer un test comme "non concluant", demandez-vous si le problème est qu'il n'y a pas d'effet, ou qu'il y a deux effets contraires cachés dans le même chiffre.

Si vous voulez savoir si votre propre site web présente ce type de signaux enfouis dans l'agrégat, notre audit CRO gratuit est un bon point de départ pour identifier où il vaut la peine de regarder de plus près.