Résumé

• L'A/B testing consiste à confronter deux versions d'une page à du trafic réel, mais seulement dans un cadre de recherche structuré, pas pour départager deux idées au hasard.
• Beaucoup de tests A/B ratés et/ou inutiles viennent de 3 erreurs : hypothèses non recherchées, trafic insuffisant, lecture faussée des résultats sous la ligne de flottaison.
• Un test A/B fiable demande un minimum de trafic réel : viser 50 000 sessions par mois, ou de quoi atteindre 200 à 300 conversions par variante.
• Notre formation A/B Testing couvre tout le process : analyse pré-test, configuration et tracking, types de tests, analyse post-test.
• Une check-list complète à garder sous la main pour chaque nouvelle campagne.

Ce que vous apprenez dans notre formation A/B Testing

La formation A/B testing fait partie de notre formation CRO complète, structurée en 6 parties : Introduction au CRO, Recherche CRO, Priorisation et organisation, UX/UI et Copywriting, A/B testing, IA et CRO.

Sur la partie A/B testing spécifiquement, vous apprenez à :

• Effectuer une analyse pré-test pour vérifier les paramètres nécessaires (taille d'échantillon, MDE)
• Maîtriser les notions indispensables : faux positif, MDE, puissance statistique, SRM
• Configurer et tracker un test avec un outil d'A/B testing (VWO est utilisé en démonstration dans les vidéos)
• Comprendre les différents types de test pour les utiliser au bon moment
• Analyser les données de façon fiable grâce à la segmentation, pour tirer des conclusions solides
• Documenter les apprentissages pour alimenter la recherche et prioriser les futurs tests

À qui s'adresse cette formation ?

Elle s'adresse à un large éventail de professionnels : marketing web, agences A/B testing et publicité, e-commerce, UX designers, freelances, analystes de données, experts ou débutants en CRO. Peu importe le niveau d'expérience : elle convient à ceux qui veulent améliorer l'expérience utilisateur, augmenter leur taux de conversion, ou prendre des décisions basées sur des données réelles plutôt que sur l'intuition.

Pré-requis

Le CRO suit trois étapes : recherche, hypothétisation/priorisation, puis tests. Avant tout lancement de test, il faut faire de la recherche pour générer des hypothèses basées sur des actions concrètes, pas sur l'intuition. C'est pour ça qu'on recommande de se former au CRO dans sa globalité, pas seulement à l'A/B testing : un test A/B mal préparé en amont ne vaut rien, aussi bien exécuté soit-il.

Qu'est-ce que l'A/B testing ?

L'A/B testing consiste à diffuser deux versions d'une même page à des visiteurs réels, en même temps, pour mesurer laquelle génère le plus de conversions. L'audience est divisée en deux groupes aléatoires : le premier voit la version A (l'existante), le second la version B (la modifiée).

Mais ce n'est pas un outil de design. C'est une méthode de recherche : elle sert à valider ou invalider une hypothèse, pas à départager deux idées au hasard. Un test A/B lancé sans hypothèse backée par de la donnée valide surtout un biais de confirmation, pas une vraie amélioration.

Les 3 erreurs qui ruinent la plupart des tests A/B

On les voit revenir en boucle, y compris chez des équipes expérimentées.

1. Tester sans recherche derrière (ou pour faire plaisir à son boss/client)

Le symptôme classique : une entreprise qui a lancé 3 tests A/B, obtenu 0 résultat, et qui en conclut que l'A/B testing "ne marche pas". Le vrai problème : 3 tests, c'est trop peu pour juger quoi que ce soit. Et souvent, les hypothèses testées viennent de l'intuition ("j'ai vu que mon concurrent utilise l'IA pour ses images, testons la même chose") plutôt que d'une recherche.

Face à ce genre de situation, la bonne réponse n'est pas de débattre pendant des heures :

• Il est impossible d'obtenir un résultat positif sur 100% des tests A/B, ça fait partie du process d'apprentissage.
• Chaque test, gagnant ou perdant, sert à affiner les hypothèses suivantes.
• Si l'idée est insistante, autant la tester : un échec prouve qu'il faut une méthode plus rigoureuse pour générer des hypothèses, un gain rend tout le monde content (et ouvre la porte à plus de tests).

Ne perdez pas de temps à débattre d'une idée. Testez, analysez, et faites de la recherche en amont pour la suite.

2. AB testing avec trop peu de trafic

C'est l'erreur la plus fréquente, même chez des consultants reconnus. 8 conversions contre 6 sur 300 visiteurs, ça n'a strictement aucune valeur statistique.

Si le site ne fait pas au moins 50 000 sessions par mois, ou 200 à 300 conversions par variante sur 5 semaines, l'A/B testing classique n'a pas de sens : mieux vaut d'autres méthodes d'optimisation. Dans ce cas, deux options : viser des changements radicaux (des résultats de +50% à +100% se détectent avec moins de volume), ou passer par une analyse bayésienne ou d'autres approches. Pour vérifier avant de lancer, un calculateur comme celui de Speero donne la taille d'échantillon et la durée nécessaires en quelques secondes.

3. AB testing sous la ligne de flottaison

Ce n'est pas une erreur en soi, mais un piège d'analyse. Tous les visiteurs ne voient pas les éléments sous la ligne de flottaison, et pourtant 100% des visiteurs sont comptés dans les résultats, ce qui peut fausser toute l'analyse.

Astuce : utilisez un script de "vue d'élément" (via GA4 ou un autre outil) pour n'analyser que les visiteurs ayant réellement vu le changement, et ajustez le calcul de taille d'échantillon en fonction du Minimum Detectable Effect (MDE) réel.

La check-list pour un A/B test réussi

Faire des tests A/B régulièrement nous a poussés à construire une check-list pour ne rien oublier : on l'utilise systématiquement avec nos clients.

À retenir : les 4 phases à ne jamais sauter, analyse pré-test (hypothèse, KPI, durée/MDE/échantillon), configuration (tracking, test A/A, QA en conditions réelles), lancement (vérification des données à J+quelques heures), analyse (suivi SRM, probabilité bayésienne, segmentation, documentation des apprentissages).

FAQ

Combien de trafic faut-il pour lancer un A/B test fiable ?

On recommande un minimum de 50 000 sessions par mois, mais le vrai critère est de pouvoir atteindre 200 à 300 conversions par variante dans un délai raisonnable. Ça dépend du nombre de pages testées et du taux de conversion de base, pas seulement du trafic brut.

Quels outils utiliser pour faire de l'A/B testing ?

Il n'y a pas d'outil universel : AB Tasty, VWO, Kameleoon ou GrowthBook se valent globalement. Le choix dépend surtout du budget et de la stack technique du site.

Combien de temps dure un test A/B ?

En général plusieurs semaines, le temps d'atteindre un échantillon significatif (environ 5 semaines pour 200 conversions par variante sur un trafic correct). Un test arrêté trop tôt donne des résultats non fiables, même s'il semble "gagnant".

Faut-il se former uniquement à l'A/B testing, ou au CRO en général ?

Au CRO en général. L'A/B testing n'est que la dernière étape du process (recherche, puis hypothèses, puis tests) : sans les deux premières, les tests partent sur de mauvaises bases.

Ressources utiles

• Calculateur A/B test Speero, pour la taille d'échantillon, le MDE et la durée de test
• CXL, méthodologie CRO, référence académique en optimisation de la conversion

‍

‍