La Loi des Petits Nombres désigne la croyance implicite qu’un petit échantillon reflète fidèlement la population dont il est tiré. Nous accordons aux résultats de cinq observations la même confiance qu’à ceux de cinq cents.
Le paradoxe des petits comtés
Kahneman rapporte une étude sur l’incidence du cancer du rein aux États-Unis. Les comtés où elle est la plus faible sont majoritairement ruraux et peu peuplés — on en déduit volontiers les bienfaits de l’air pur. Sauf que les comtés où l’incidence est la plus forte sont, eux aussi, ruraux et peu peuplés.
Il n’y a rien à expliquer : les petits effectifs produisent mécaniquement des valeurs extrêmes dans les deux sens. Sur mille habitants, deux cas de plus ou de moins font basculer un taux ; sur un million, ils ne se voient pas. L’écart observé ne dit rien du mode de vie, il dit seulement la taille de l’échantillon.
Ce que nous attendons à tort du hasard
Nous nous représentons le hasard comme régulier. Une série de six piles consécutifs paraît anormale et appelle une explication, alors qu’elle survient régulièrement dans toute séquence un peu longue. Cette attente de régularité nous fait chercher des causes là où il n’y a que de la variation.
Les dégâts au quotidien professionnel
- Le test A/B arrêté trop tôt : après deux jours, une variante mène largement. On déploie. L’écart se dissout dès que le volume augmente, parce qu’il n’a jamais existé.
- Les entretiens clients érigés en vérité : « nous avons interrogé six utilisateurs, quatre veulent cette fonctionnalité » devient une feuille de route. Six personnes ne mesurent pas un marché.
- Le classement des équipes : la meilleure et la pire performance trimestrielle proviennent presque toujours des plus petites équipes. On y voit un modèle à imiter ou un problème à traiter, alors qu’on observe de la variance.
- Le pilote local généralisé : une expérimentation réussie sur une agence est déployée partout, sans qu’on ait vérifié si le résultat tenait au dispositif ou aux personnes qui l’ont porté.
Trois réflexes de protection
Demander l’effectif avant le pourcentage. « 40 % d’insatisfaits » ne veut rien dire tant qu’on ignore s’il s’agit de deux personnes sur cinq ou de quatre cents sur mille.
Fixer la durée du test avant de le lancer. Décider à l’avance du volume nécessaire empêche l’arrêt opportuniste au moment où la courbe raconte l’histoire qui arrange.
Se méfier des extrêmes. Devant un résultat spectaculaire, la première hypothèse à tester n’est pas la cause profonde mais le faible effectif. C’est de loin l’explication la plus fréquente.
Une conséquence contre-intuitive
Ce phénomène explique aussi le retour à la moyenne, si souvent mal interprété. Une performance exceptionnelle est presque toujours suivie d’une performance plus ordinaire, sans qu’aucune intervention n’y soit pour quelque chose. C’est ce qui fait croire aux vertus de la réprimande après un mauvais résultat, et à l’effet démobilisateur des félicitations après un bon : dans les deux cas, la suite était prévisible indépendamment du management.
Pour aller plus loin : Loi des Petits Nombres
- Biais Cognitif #20 : Le Biais de l'Expert – La difficulté d'expliquer ce qu'on maîtrise parfaitement
- Biais Cognitif #21 : L'Aversion à la Perte – Perdre fait deux fois plus mal que gagner ne réjouit
- Biais Cognitif #22 : Le Biais des Coûts Irrécupérables – S'entêter dans un projet voué à l'échec
- Biais Cognitif #23 : L'Effet de Dotation – Surévaluer ce qui nous appartient