Tester un nudge : la comparaison entre la période précédant un dispositif et celle qui la suit est la méthode d’évaluation la plus répandue et la moins fiable. Elle attribue au dispositif l’ensemble des variations survenues entre les deux périodes — saisonnalité, changement de charge, autre initiative concomitante, simple hasard. La comparaison entre deux groupes observés simultanément, dont l’un bénéficie du dispositif et l’autre non, élimine cette confusion. Ce protocole est courant dans l’évaluation des politiques publiques et il est transposable en entreprise moyennant quelques adaptations, dont certaines sont contraignantes.
Pourquoi l’avant-après ne suffit pas
Une amélioration constatée après la mise en place d’un dispositif peut avoir de nombreuses causes. La plus fréquente est l’attention portée au sujet : le simple fait de mesurer et de communiquer sur un comportement le modifie, indépendamment du dispositif lui-même.
S’y ajoutent les variations saisonnières, souvent importantes, et les initiatives concomitantes — une réorganisation, un changement d’effectif, une campagne sur un sujet voisin. Sans groupe de comparaison, il est impossible de distinguer ces effets, et l’organisation attribue au dispositif un résultat qu’il n’a pas produit, ce qui conduit à le généraliser à tort.
Constituer les deux groupes
Le principe est de répartir les unités concernées — personnes, équipes, sites, dossiers — entre un groupe recevant le dispositif et un groupe n’en bénéficiant pas, de manière à ce que les deux soient comparables.
La répartition aléatoire est la méthode la plus solide et elle est souvent praticable sur des unités nombreuses : dossiers, demandes, transactions. Sur des unités peu nombreuses — quatre équipes, deux sites — elle ne garantit plus la comparabilité, et il vaut mieux apparier délibérément sur les caractéristiques importantes : taille, activité, ancienneté, niveau de départ sur l’indicateur.
Le problème de la contamination
En entreprise, les groupes communiquent. Un dispositif appliqué à une équipe est rapidement connu de l’équipe voisine, ce qui modifie son comportement et réduit l’écart mesuré — voire l’annule.
Trois parades limitent l’effet. Choisir des unités peu en contact, comme des sites distincts. Répartir au niveau des dossiers plutôt que des personnes lorsque c’est possible, ce qui rend la comparaison interne à chaque équipe. Ou accepter la contamination en la documentant, ce qui conduit à interpréter le résultat comme une estimation basse de l’effet réel — conclusion prudente et souvent suffisante pour décider.
La taille nécessaire
Un effet comportemental typique se situe entre deux et dix points de pourcentage. Détecter un écart de cette ampleur avec une confiance raisonnable suppose un nombre d’observations qui dépasse fréquemment ce dont dispose une équipe.
Cette contrainte doit être connue avant de lancer le test, car elle détermine la conclusion possible. Sur de petits effectifs, il vaut mieux renoncer à une démonstration statistique et adopter un critère de décision explicite et assumé : nous généraliserons si l’écart dépasse tel seuil, en sachant que ce constat n’a pas valeur de preuve. Cette honnêteté vaut mieux qu’un calcul de significativité appliqué à des données qui ne le permettent pas.
Ce qu’il faut mesurer
Trois mesures doivent être prévues avant le lancement. L’indicateur principal, qui porte sur le comportement visé. Un indicateur d’effet indésirable, choisi en fonction du comportement d’optimisation prévisible. Et un indicateur de mise en œuvre : le dispositif a-t-il effectivement fonctionné comme prévu pendant toute la période.
Ce troisième point est régulièrement omis et explique de nombreux résultats nuls. Un dispositif dont le rappel n’a pas été envoyé pendant deux semaines, ou dont le paramétrage a été réinitialisé lors d’une mise à jour, n’a pas été testé. Sans cette vérification, on conclut à l’inefficacité d’un mécanisme qui n’a pas été appliqué.
La durée et le moment
La période de test doit dépasser l’effet de nouveauté, soit quatre à huit semaines selon la fréquence du comportement, et éviter les périodes atypiques — congés, clôture comptable, pic saisonnier — qui affectent les deux groupes mais peuvent modifier l’écart entre eux.
L’analyse gagne à distinguer la première et la seconde moitié de la période. Un écart qui se réduit fortement entre les deux signale un effet de nouveauté ; un écart stable ou croissant signale un mécanisme installé. Cette distinction est plus informative que la moyenne sur l’ensemble de la période, qui mélange les deux phases.
Interpréter un effet modeste
Les effets obtenus sont généralement faibles, ce qui déçoit lorsqu’on attendait une transformation. Cette déception vient d’une comparaison inadaptée : un dispositif dont le coût est de quelques heures et qui produit trois points d’amélioration permanente présente un rendement supérieur à la plupart des projets d’organisation.
L’interprétation doit donc rapporter l’effet au coût, et non le comparer à un objectif souhaité. Elle doit également distinguer l’absence d’effet — le dispositif n’a rien produit — de l’absence de conclusion — les données ne permettent pas de trancher. Ces deux situations appellent des décisions différentes : abandonner dans le premier cas, prolonger ou élargir le test dans le second.
En résumé
La comparaison avant-après attribue au dispositif toutes les variations survenues entre les deux périodes, à commencer par l’effet de l’attention portée au sujet. Deux groupes observés simultanément éliminent cette confusion. La répartition aléatoire convient aux unités nombreuses ; sur peu d’unités, l’appariement délibéré est préférable. La contamination entre équipes réduit l’écart mesuré et conduit à interpréter le résultat comme une estimation basse. Trois mesures sont prévues d’avance, dont un indicateur vérifiant que le dispositif a effectivement fonctionné. La durée doit dépasser l’effet de nouveauté, et l’analyse distinguer les deux moitiés de la période. Enfin, un effet modeste rapporté à un coût quasi nul reste un bon rendement.