3 erreurs fatales en A/B testing

1- AB testing avec peu de trafic

L’A/B testing est un jeu pour les grands.

Ce genre d’erreur est encore trop répandu, notamment par des personnes très populaires.

8 vs 6 conversions sur 300 visiteurs, c’est ridicule.

Il ne peut y avoir aucun résultat significatif ici.

Pour te donner un chiffre, si tu n’as pas +20k utilisateurs mensuels, oublie.

Si tu ne peux pas générer +200 conversions par variantes sur un test de 5 semaines, oublie.

Ce sont de simples repères, rien de précis.

Pour être sûr de ton coup, il est nécessaire de passer par une analyse pré-test.

Pour calculer tout ça → https://speero.com/ab-test-calculator

À la place, tu dois opter pour de gros changements.

Tu DOIS viser des augmentations massives, de 50% ou 100% dans l’idéal.

Tu ne peux pas te permettre de tester des détails.

Pour aller plus loin, voici un guide pour optimiser avec peu de trafic 👇

Booster ses conversions avec peu de trafic

2 - AB testing en dessous de la ligne de flottaison

En vérité, ça n’est pas une erreur.

Bien sûr qu’il est possible d’A/B tester des éléments plus bas sur la page.

Seulement, il faut avoir une chose en tête :

→ Tous les utilisateurs ne verront pas le test.

Or, ça peut être un vrai problème.

Si tu A/B testes un élément dans le pied de page, peut-être que seulement 20% des utilisateurs verront ce changement.

Et pourtant, pour l’analyse du test, 100% des utilisateurs sont pris en compte.

Donc au final, on prend en compte des utilisateurs qui n’ont pas vraiment fait partie de l’expérience, car ils n’ont pas vu le changement.

💡 Une solution simple :

→ Appliquer un script “vue de l’élément” sur les pages de bases et les variantes.

Avec ça, tu pourras segmenter sur Google Analytics et analyser les résultats concernant les utilisateurs qui ont vu ton changement.

Enfin, il faut prendre en compte cela dans le calcul pré-test, notamment au niveau du MDE.

3 -AB testing basé sur aucune recherche

Je précise : un test AB doit être basé sur une hypothèse claire.

Une hypothèse est une proposition d’énoncé basée sur des preuves, qui peuvent être prouvées ou réfutées et qui sert de point de départ à une enquête plus approfondie.

Et celle-ci doit être basée sur une observation, une analyse, un test, etc.

Si tu inventes un test basé sur rien et que tu observes que la variante A convertit mieux que la variante 2.

Très bien ! Mais qu’as-tu appris ? Rien du tout.

L’hypothèse permet d’être claire sur l’apprentissage tirée et de générer de nouvelles idées de tests cohérentes.

Problème :

Si tu es freelance : il se peut que ton client insiste pour tester une idée basée sur rien (du genre : la couleur du bouton).

Si tu es responsable CRO : il se peut que ton boss veuille la même chose.

En réalité, ça n’est pas vraiment un problème.

Applique le test, et dans tous les cas, ça peut être bénéfique :

→ Le test échoue : cela prouve qu’il faut une méthode plus rigoureuse pour tirer des avantages. Ça permet d’écarter une possibilité.

→ Gagnant : tout le monde est content, et votre boss veut sûrement plus de tests (et donc plus de CRO)

Le but est d’itérer rapidement.

Débattre d’une idée pendant trop longtemps n’a pas sa place dans un cadre CRO.

‍