50 idées, 6 tests par an : comment prioriser | Boost

Toute équipe travaillant sur son site web depuis un certain temps dispose d'une liste d'idées d'amélioration. Une fiche produit plus complète, un checkout plus court, un autre texte pour le bouton, une nouvelle façon d'afficher les prix. La liste s'allonge à chaque réunion, à chaque analyse concurrentielle et chaque fois qu'un membre de la direction navigue sur le site un dimanche.

Le problème n'est pas le manque d'idées. C'est qu'il n'y a presque jamais assez de trafic pour toutes les tester, et faire le mauvais choix signifie passer des mois à tester des changements qui n'auraient aucun impact.

Combien de tests pouvez-vous réellement effectuer

Avant de prioriser, il est utile de faire un calcul que très peu d'équipes réalisent : combien de tests peuvent être effectués en un an.

Un test nécessite un échantillon minimal pour détecter une différence de manière fiable. Cet échantillon dépend de trois éléments : le taux de conversion initial, l'ampleur de l'amélioration que vous souhaitez détecter et le trafic de la page.

Un exemple avec des chiffres ronds. Une page reçoit 20 000 visites par mois et convertit à 3%. Pour détecter une amélioration relative de 15% (passer de 3% à 3,45%) avec une confiance de 95% et une puissance de 80%, il faut environ 23 000 utilisateurs par version. Avec deux versions, environ 46 000 au total : un peu plus de deux mois de trafic. En un an, cette page permet de réaliser cinq ou six tests.

Si l'amélioration que vous espérez est plus petite, le calcul se détériore rapidement. Pour détecter 10%, il faut plus de 50 000 utilisateurs par version, soit plus de cinq mois par test. Réduire de moitié l'effet recherché multiplie par quatre l'échantillon nécessaire.

Ce calcul change la donne. Il ne s'agit plus de savoir quelles idées sont bonnes, mais de savoir lesquelles méritent d'occuper l'une des rares places disponibles.

Les méthodes de priorisation et leurs pièges

Pour classer les idées, la plupart des équipes utilisent un système de notation. Les trois plus connus sont :

• ICE, popularisé par Sean Ellis dans le domaine du growth, évalue chaque idée en fonction de son impact, de la confiance en son fonctionnement et de la facilité de mise en œuvre.
• PIE, développé par Chris Goward, évalue le potentiel d'amélioration de la page, son importance pour l'entreprise et sa facilité.
• PXL, proposé par CXL, remplace les scores subjectifs par des questions oui/non : le changement est-il visible dès le premier écran ?, est-il basé sur des données utilisateur ?, est-il perceptible en moins de cinq secondes ?

Tous aident à classer, mais partagent un problème : la plupart de leurs critères sont évalués à l'œil. Et lorsqu'une idée est évaluée à l'œil, c'est souvent celle de la personne la plus influente dans la salle qui l'emporte. Dans le secteur, on appelle cela l'opinion du HiPPO (highest paid person's opinion), un terme popularisé par Avinash Kaushik. Un framework de priorisation mal appliqué n'élimine pas cette opinion : il la transforme simplement en un chiffre.

Il y a un deuxième piège, moins évident. Presque toutes les méthodes récompensent la facilité. Cela pousse le backlog vers des changements petits et peu coûteux, comme des textes, des couleurs ou des étiquettes, qui sont précisément ceux qui ont le moins d'impact et qui nécessitent le plus grand échantillon pour être détectés. Une équipe avec peu de trafic qui priorise par facilité finit par réaliser des tests qui n'aboutissent jamais à une conclusion.

Quelles idées ne valent pas la peine d'être testées

Avant de noter quoi que ce soit, il y a des idées qu'il convient de retirer de la liste.

Celles que vous allez implémenter de toute façon

Si un changement est obligatoire en raison d'une réglementation, de la marque ou d'une décision commerciale déjà prise, le tester pour voir s'il est gagnant n'a aucun sens. Ce qui peut avoir du sens, c'est de tester comment l'implémenter pour ne pas perdre de conversion, comme nous l'expliquons dans le cas des changements d'accessibilité web. C'est un autre type de test, avec un autre objectif.

Celles qui n'ont pas assez de trafic pour donner un résultat

Un changement sur une page qui reçoit 2 000 visites par mois n'aboutira jamais à une conclusion fiable, à moins que l'effet ne soit énorme. Ces idées peuvent être implémentées avec un avis d'expert et leurs métriques surveillées, ou regroupées avec d'autres pour tester un changement plus important.

Celles qui ne répondent pas à un problème détecté

"La concurrence l'a" n'est pas un problème. "40% des utilisateurs mobiles abandonnent à l'étape de la livraison" en est un. Une idée qui ne peut pas être reliée à quelque chose d'observé dans les données, dans les enregistrements de sessions ou dans ce que disent les clients est un pari, et dans un calendrier avec six créneaux par an, il n'y a pas de place pour beaucoup de paris.

Comment nous construisons une feuille de route de tests

Chez Boost, la feuille de route ne commence pas par les idées, mais par le diagnostic. Notre méthodologie suit cinq phases (mesurer, analyser, décider, optimiser et tester) et la priorisation a lieu dans la troisième, lorsque nous savons déjà où les gens se perdent et pourquoi. Il y a quelques principes que nous appliquons à chaque compte.

1- D'abord, les pages où la vente est décidée

Une amélioration de 10% sur le checkout vaut plus qu'une de 20% sur une page par laquelle passe une fraction du trafic. C'est pourquoi la priorisation commence par le calcul de l'impact potentiel en argent, et non en pourcentage.

2- Quelques paris importants plutôt que de nombreux petits

Avec un trafic limité, il est préférable de tester des changements qui peuvent faire bouger la métrique de manière visible : comment le prix est présenté, ce qui est demandé au premier clic, la structure d'une page. Les ajustements fins viennent ensuite, une fois qu'un gagnant est identifié sur lequel itérer.

3- Tests en parallèle, s'ils ne se chevauchent pas

Le calcul de capacité se fait par page, et non par site web. Une fiche produit et un checkout peuvent avoir des tests en cours simultanément, à condition que les changements n'affectent pas la même étape du parcours et ne se contaminent pas mutuellement. Bien organisé, cela multiplie le nombre de tests par an sans nécessiter plus de trafic. Mal organisé, cela rend impossible de savoir quel changement a produit quel résultat.

4- Chaque test doit enseigner quelque chose, qu'il soit gagnant ou perdant

Un bon test est conçu pour que le résultat, quel qu'il soit, modifie la décision suivante. Si une idée échoue et que nous ne savons pas quoi faire ensuite, elle n'était probablement pas bien formulée.

5- Le calendrier compte

Un test lancé juste avant une campagne forte, comme le Black Friday, peut donner des résultats qui ne se reproduisent pas le reste de l'année. Les dates de lancement sont également priorisées.

6- La feuille de route est révisée à chaque résultat

Un test gagnant ouvre de nouvelles hypothèses. Un test perdant peut écarter plusieurs idées de la liste d'un coup. Une feuille de route qui ne change pas en trois mois n'apprend pas des tests.

La question qui met de l'ordre dans les priorités

Si vous ne deviez retenir qu'une seule règle, ce serait celle-ci : avant d'ajouter une idée à la feuille de route, demandez-vous quelle décision commerciale vous allez prendre en fonction du résultat. Si la réponse est "aucune, nous l'implémenterions de toute façon" ou "je ne sais pas", cette idée ne devrait pas occuper l'un de vos six créneaux.

La plupart des programmes de CRO n'échouent pas par manque d'idées ou d'outils. Ils échouent parce qu'ils consacrent leur trafic limité à tester ce qui était facile plutôt que ce qui était important.

Si vous souhaitez organiser votre liste d'idées avec des données, commencez par un diagnostic gratuit de Scan&Boost ou validez vos premières hypothèses en quelques semaines avec notre service complet de CRO.