Comment Spotify font du CRO

La semaine dernière, j’ai partagé le processus d’expérimentation de Calendly, qui mettait en avant le volume.

L’importance d’effectuer beaucoup d’expérimentation et de donner la possibilité à plusieurs équipes de faire des tests.

Aujourd’hui, on va mettre en avant la qualité.

Pour ça, l’équipe R&D de Spotify a récemment sorti un papier dans lequel ils expliquent leur philosophie derrière leur plateforme d’expérimentation : Confidence.

Intéressant comme nom, sachant qu’on retrouve ce terme comme critères nécessaire à la bonne priorisation des hypothèses :

Avec +696 millions d’utilisateurs, il est important pour la marque d’avoir des équipes autonomes qui font le plus de tests possibles.

Mais très rapidement, leur objectif a changé.

Aujourd’hui, Spotify se pose la question suivante :

“Comment améliorer la qualité des expérimentations afin de maximiser les résultats de chaque test ?”

Quantité ET qualité

Pour ce qui est de la quantité, Spotify met plusieurs choses en place :

• Un SDK (Kit de développement) et une UX de la plateforme optimisée
• Une aide à la formation au CRO et à l’expérimentation
• Intégration de l’expérimentation comme norme et comme processus par défaut

Seules les équipes respectant ces 3 éléments seront capables d’expérimenter du mieux possible.

Sur une plus petite échelle, les très jeunes marques doivent aussi respecter ces critères :

• Avoir des moyens techniques simples pour être efficace dans l’intégration, l’expérimentation et la mesure
• Être formée au CRO et développer une culture de l’expérimentation

Pour ce qui est de la qualité, Spotify met en avant qu’une bonne expérimentation est de qualité à partir du moment où elle offre un apprentissage.

“On peut avoir un taux de réussite de 0 % tout en tirant une valeur commerciale considérable de l’expérimentation si l’on apprend et atténue les risques liés aux mauvaises décisions.”

En gros, ces apprentissages permettent d’exclure les mauvaises hypothèses et d’en construire de meilleures par la suite (méta-analyse).

Qu’est-ce qu’une expérimentation d’apprentissage ?

Spotify met en avant plusieurs choses pour qu’une expérimentation soit utile :

• La validité : la configuration est correcte, la répartition du trafic est cohérente, aucun problème de ratio d’échantillonnage, etc.
• Prendre une décision claire : intégration si le résultat est positif, abandon si c’est négatif, apprendre si c’est neutre
• Tirer un apprentissage dans tous les cas pour alimenter d’autres hypothèses

Spotify nous partage un retour sur les 6 derniers mois, concernant leurs expérimentations.

Elles sont classées lassées selon qu’elles ont produit ou non un apprentissage et différentes raisons.

Par exemple, Selon Spotify, la majorité des expérimentations classées “sans apprentissage” ne sont pas invalides par erreur, mais par manque d’“alimentation”.

C’est-à-dire que l’échantillon collecté n’était pas assez grand, ou que la puissance statistique n’était pas suffisante pour tirer une conclusion fiable.

Leur taux d’apprentissage

Spotify nous partage également ceci.

À gauche, le pourcentage de Win Rate et de Learning Rate.

Il faut noter le “Learning Rate” qui n’est pas tu tout présent dans tous les processus d’expérimentation.

À droite, la proportion d’expériences menées dans les différentes parties de l’organisation.

2 choses :

1. L’écart entre le taux de réussite et le taux d’apprentissage en dit long sur l’importance qu’ils apportent à l’apprentissage.
2. Il est normal pour une aussi grosse marque avec des centaines de millions d’utilisateurs que le taux de réussite soit aussi faible. Le produit est déjà nettement optimisé, il est donc plus difficile pour les grosses équipes de trouver des gagnants.

Une citation qui résume tout :

“Pour un produit mature comme Spotify, prévenir les régressions est tout aussi important que viser la réussite. Nombre de ces changements ne visent pas à améliorer directement l’expérience utilisateur, mais à assurer la bonne croissance de Spotify à mesure que des centaines de millions de personnes s’y inscrivent – ​​un travail qui révèle souvent des régressions plutôt que des « gains”

Aller plus loin

Spotify est une marque à suivre en termes de développement produit.

Je vous conseille d’aller faire un tour sur leur blog qui est bien fourni.

‍