Mesurer l’effet réel : Mesurer l’effet d’un dispositif comportemental suppose de répondre à une question précise : que se serait-il passé sans lui ? Cette question, évidente une fois posée, est absente de la plupart des évaluations menées en entreprise, qui se contentent de constater un niveau après la mise en place. Or un chiffre après ne dit rien tant qu’il n’est pas confronté à une référence, et le choix de cette référence détermine entièrement la conclusion. C’est sur ce point, plus que sur la sophistication des indicateurs, que se joue la qualité d’une évaluation.
Le choix de la référence
Trois références sont disponibles, par ordre de fiabilité décroissante. Un groupe comparable observé simultanément sans dispositif constitue la référence la plus solide. La période précédente, à défaut, à condition qu’elle soit comparable en charge et en composition.
La tendance antérieure, enfin, lorsque l’indicateur évoluait déjà avant l’intervention : c’est cette évolution qui sert de référence, et non le niveau de départ. Cette dernière situation est fréquente et régulièrement mal traitée — un dispositif installé alors qu’une amélioration était déjà en cours se voit attribuer un effet qui préexistait.
Mesurer le comportement, pas seulement le résultat
Un dispositif comportemental agit sur un comportement, qui produit ensuite un résultat. Mesurer uniquement le résultat rend l’interprétation difficile, car il dépend de nombreux autres facteurs et évolue plus lentement.
La mesure du comportement lui-même — la fréquence de l’action visée — répond directement à la question posée et permet d’identifier où le mécanisme a échoué. Un dispositif dont le comportement a changé sans amélioration du résultat indique que l’hypothèse reliant les deux était fausse, information précieuse et différente d’un simple constat d’échec.
Vérifier que le dispositif a fonctionné
Une part significative des évaluations concluant à l’absence d’effet portent sur des dispositifs qui n’ont pas été appliqués comme prévu : rappel interrompu, paramétrage réinitialisé lors d’une mise à jour, affichage retiré, message non diffusé à une partie du périmètre.
Un indicateur de mise en œuvre doit donc accompagner systématiquement l’indicateur d’effet. Il répond à une question simple : le dispositif était-il actif, pour tout le monde, pendant toute la période ? Sans cette vérification, l’organisation conclut à l’inefficacité d’un mécanisme qui n’a pas eu lieu, et écarte une piste qui aurait pu fonctionner.
Surveiller les reports
Un dispositif peut réduire un comportement en le déplaçant plutôt qu’en le supprimant. Une friction sur l’envoi collectif de messages peut produire davantage d’envois individuels ; un contrôle sur un canal peut déplacer l’activité vers un autre.
Ces reports n’apparaissent que si on les cherche, et ils annulent parfois entièrement le bénéfice apparent. L’identification se fait à la conception : quel est le comportement alternatif le plus probable si celui-ci devient plus coûteux ? La réponse désigne l’indicateur de surveillance à mettre en place, et sa présence distingue une évaluation sérieuse d’une mesure de confirmation.
La question de l’effet de nouveauté
Presque tout dispositif produit une amélioration initiale liée à l’attention qu’il suscite. Une évaluation portant sur les premières semaines mesure cette attention et la confond avec l’effet du mécanisme.
La méthode consiste à comparer les deux moitiés de la période d’observation. Un effet stable ou croissant signale un mécanisme installé ; une décroissance marquée signale que le dispositif reposait sur la nouveauté. Cette distinction change la décision : le second cas ne justifie pas une généralisation, mais éventuellement une réintroduction périodique, ce qui est un dispositif différent.
Absence d’effet ou absence de conclusion
Ces deux situations sont régulièrement confondues et appellent des décisions opposées. Un dispositif dont l’effet mesuré est nul sur un volume d’observations suffisant a échoué. Un dispositif dont l’effet n’est pas distinguable du bruit, faute d’observations, n’a pas été évalué.
La distinction se fait en examinant l’ordre de grandeur des variations habituelles de l’indicateur. Lorsque celui-ci fluctue naturellement de cinq points d’une semaine à l’autre, un écart de trois points ne signifie rien. Cette vérification élémentaire évite deux erreurs symétriques : abandonner un dispositif qui fonctionnait, et généraliser un dispositif dont l’effet apparent relevait du hasard.
Restituer honnêtement
La restitution d’un résultat détermine la crédibilité des démarches ultérieures. Une évaluation présentée uniquement lorsqu’elle est favorable enseigne rapidement que les chiffres communiqués sont sélectionnés, ce qui dévalue l’ensemble.
Une restitution utile indique l’effet mesuré, la référence utilisée, les limites de la mesure, et la décision prise. Annoncer qu’un dispositif n’a produit aucun effet et sera retiré coûte peu et produit un bénéfice réel : cela établit que l’évaluation n’est pas une formalité, ce qui rend acceptables les dispositifs suivants et les décisions qui en découleront.
En résumé
Mesurer un effet suppose une référence : un groupe comparable simultané, à défaut une période comparable, à défaut la tendance antérieure — un dispositif installé pendant une amélioration en cours se voit attribuer un effet qui préexistait. Le comportement se mesure directement, le résultat seul rendant l’interprétation difficile. Un indicateur de mise en œuvre est indispensable, faute de quoi on conclut à l’inefficacité d’un dispositif qui n’a pas fonctionné. Les reports vers un comportement alternatif s’identifient à la conception. La comparaison des deux moitiés de période distingue l’effet installé de l’effet de nouveauté. Enfin, l’absence d’effet et l’absence de conclusion appellent des décisions opposées.