La Growth Question ? #2

[Thomas_Lucyfer]

Hello les GH,

Cas Numéro 1

Imaginons que votre équipe marketing a fait une nouvelle landing page dans le but d’augmenter le taux de conversion des inscriptions à votre SaaS.

Elle a lancé un test A/B pour voir si la nouvelle landing page était meilleure que l’ancienne.

Après 1000 visiteurs dans l’expérimentation, ils ont vérifié les résultats pour la première fois. La différence entre la nouvelle version et l’ancienne version de la landing page n’était pas statistiquement significative.

Ils ont ensuite vérifié les résultats lorsque la page avait atteint 2 000 visiteurs. Il n’y avait toujours pas de différence statistiquement significative.

Mais lorsqu’ils ont vérifié les résultats pour la troisième fois, après 3 000 visiteurs, la différence était statistiquement significative, et ils ont remarqué que la nouvelle version de landing page était plus performante.

Ils ont arrêté l’expérimentation et ont déployé la nouvelle version de la landing page à tous les utilisateurs.

Était-ce la bonne décision de déployer la nouvelle version de la landing ?

Réponse Cas Numéro 1

Réponse: Non.

L’approche ci-dessus souffre de ce que l’on appelle le « peeking problem ».

Lorsqu’on fait un A/B Test, on oublie souvent une des conditions préalables importantes qui est de déterminer la taille de l’échantillon pour l’expérience.

Le peeking problem se produit lorsqu’on vérifie par intermittence les résultats jusqu’à atteindre des résultats significatifs entre le groupe A et B et que l’on prend des décisions basées sur nos observations immédiates.

Si vous fixez la taille de l’échantillon au début du test et que vous reportez toute décision au moment où vous disposez de la bonne quantité de données, il n’y a aucun mal à observer des résultats intermédiaires.

Pour aller plus loin il y a cet article et celui-ci qui ont inspiré ce cas.

On parle ici souvent de Leboncoin, Ads, Scraping, Automatisation etc… Mais aujourd’hui j’ai une petite étude de cas pour vous.

Cas Numéro 2 :

Imaginons que vous avez lancé LaGrowthMachine il y a un an (ou un autre SaaS stv).

Récemment, tu as rencontré le CEO de Waalaxy (ton concurrent) aux Growth Awards et là tu sais que tu l’as fumé aux awards mais en discutant tu as voulu comparer ton taux de churn avec lui. Waalaxy perd 3% de ses abonnés actifs chaque mois. LGM en perd 6%. Les deux produits ciblent le même marché.

Est-il correct de dire que la rétention de LGM est pire que celle de Waalaxy ?

A+

[Camille]

On part du principe que les 1000 derniers visiteurs sont issus d’un échantillon semblable aux 2000 premiers ?

[Thomas_Lucyfer]

Oui grand chef

[azzedine_m]

Je pense qu’il nous manque une métrique, ou du moins j’aurais ajouté une metrique aux visiteurs uniques : la durée.
Selon moi, j’aurais pris une décision au bout d’un mois de visites et une fois atteint un nombre de visiteurs optimale, dans l’exemple cité 3 000, c’est convenable.

Le test a été fait sur quel durée ?

[Felix]

3k de visiteurs me semble assez faible pour un test A/B testing.

A mon sens, cela dépend aussi de bcp d’autres facteurs (sources de ces visiteurs, le taux de conversion d’inscriptions pour un free trial ? un package payant ? paiement mensuel ou annuel…, c’est un nouveau saas ou non, le test est basé sur une variation de couleur/images ou plus,…)

Pour répondre à la question, je dirais oui, autant avoir une LP qui a plus de conversions et faire d’autres A/B testing

[boristchangang]

J’aurais dis que plus l’échantillon augmente et moins on a besoin d’avoir une grande différence pour qu’elle soit significative.
Si on joue avec ce simulateur A/B-Test Calculator - Power & Significance - ABTestGuide.com
Si on fait cette simulation:
Cas 1
Visiteur a → 1000 → 200 conversions
Visiteur b → 1000 → 220 conversions
Résultat pas de différence

Cas 2 (on multiplie tout par 10)
Visiteur a → 10000 → 2000 conversions
Visiteur b → 10000 → 2200 conversions
Résultat: difference significatives (alors que les ratios sont les mêmes)

Voilà

[boristchangang]

On peut faire la même simulation en partant de:

Cas 1:
Audience À: 500 → 100 convertis.
Audience b: 500 → 120 convertis
Résultat pas de différence

Cas 2:
Audience a: 1500 → 300 convertis
Audience b: 1500 → 360 convertis
Résultat: différence significative

[ClementAubry]

Voir un bond dans les résultats le 3ème mois sans explication, alors qu’il n’y avait pas de différence les deux premiers mois, laisse penser qu’on est surement passés à côté de quelque chose …

Perso j’aurais scalé l’A/B test sur 50/50 des visiteurs (et plus seulement un échantillon) pour vérifier les résultats sur la durée

[cebri]

À moins que tu sortes un truc genre « mais vous n’avez pas vu que j’ai caché un piège dans l’énoncé », la réponse est assez simple: si le contexte est le mm des 2 côté, et que les résultats sont statistiquement meilleurs sur un des 2, faut généraliser oui.

Contexte identique = tu mesures la mm chose, durée identique, sur la mm source de donnée etc

[Thomas_Lucyfer]

[Camille]

J’attends ton retour @Thomas_Lucyfer

[Thomas_Lucyfer]

C’est l’équation de mon pote Roy non ? Si un jour on va en NZ ensemble on ira boire une bière avec lui

[cebri]

@Thomas_Lucyfer

Lorsqu’on fait un A/B Test, on oublie souvent une des conditions préalables importantes qui est de déterminer la taille de l’échantillon pour l’expérience.

Je savais bien que tu allais nous enfumer avec un truc ds le genre

super idée ces petits jeux

[capritora]

Hello, quand je ne sais pas trop où je vais niveau durée/volumes nécessaires, j’aime bien faire un test A1 - A2 - B : avec 2 variantes A qui sont identiques, je sais au moins une chose : tant qu’il y a une différence de perf entre ces deux-là, je ne peux pas me fier aux perfs de B. C’est seulement lorsque dans la durée je constate une stabilité dans les perfs de A1 et A2 que je me dis que je peux me faire une idée de celles de B. L’inconvénient étant que cela prend plus de temps. Mais au moins en attendant, si j’ai une différence entre A1 et A2, j’ai même pas à me poser la question de savoir si mon test est fiable ou non.

[Kevin_Dfr]

Trop cool cette growth question
Moi je trouvais ça chelou que ça change d’un coup alors qu’il n’y a rien eu pendant 2 mois.

Dans une test on fait attention à : l’échantillon, la durée, les évènements extérieurs, la cible et l’objectif.

Dans ce cas, rien n’a été respecté hahah

On en veut encore @Thomas_Lucyfer !

[Thomas_Lucyfer]

C’est fait mon général