Biais de mesure : une démarche comportementale repose sur la mesure, ce qui la rend vulnérable aux défauts de cette mesure. Ces défauts ne sont pas anecdotiques : ils conduisent régulièrement à généraliser des dispositifs sans effet et à abandonner des dispositifs qui fonctionnaient. Ils sont d’autant plus difficiles à repérer qu’ils vont presque tous dans le même sens — celui de la confirmation. Celui qui a conçu un dispositif l’évalue rarement avec l’intention de démontrer son inutilité, et l’ensemble des choix méthodologiques discrétionnaires tend alors à favoriser le résultat espéré.
L’effet de l’observation
Le simple fait de mesurer un comportement le modifie, lorsque les personnes concernées le savent. Cet effet est bien documenté et il est souvent plus important que celui du dispositif évalué, ce qui produit une amélioration attribuée à tort à l’intervention.
Deux parades existent. Utiliser des données déjà collectées dans le cours normal de l’activité, plutôt qu’une observation mise en place pour l’occasion. Et surtout disposer d’un groupe témoin, lui aussi observé : l’effet de l’observation s’applique alors aux deux groupes et s’annule dans la comparaison. C’est l’un des arguments les plus forts en faveur du protocole comparatif.
La sélection du périmètre
Tester un dispositif sur l’équipe la plus volontaire produit un résultat favorable qui ne se reproduira pas au déploiement. Ce choix est rarement délibéré : l’équipe volontaire est simplement celle qui accepte de participer, ce qui suffit à biaiser le résultat.
Le même mécanisme opère sur les périodes : tester pendant une phase calme produit des conditions plus favorables qu’au déploiement. La correction consiste à choisir un périmètre et une période ordinaires, quitte à obtenir un résultat moins spectaculaire. Une estimation prudente est plus utile qu’une estimation flatteuse, puisque c’est sur elle que la décision de généraliser sera prise.
L’ajustement rétrospectif des critères
Le biais le plus répandu consiste à définir ou à modifier le critère de succès après avoir vu les résultats. L’indicateur principal n’ayant pas bougé, on constate qu’un indicateur secondaire s’est amélioré, et c’est celui-là qui est présenté.
Ce mécanisme ne suppose aucune malhonnêteté : les données offrent toujours plusieurs lectures, et celle qui confirme est plus facile à retenir. La parade est simple et exigeante : écrire avant le lancement l’indicateur principal, le seuil de décision et la durée, puis s’y tenir. Les analyses complémentaires restent possibles, à condition d’être présentées comme telles et non comme le résultat principal.
La découpe opportune des périodes
Une variante fréquente consiste à choisir les dates d’analyse après coup, en retenant la période où l’écart est le plus favorable. Sur des données fluctuantes, il existe presque toujours une découpe qui produit un résultat positif.
La protection est identique : fixer la période à l’avance et l’analyser intégralement. Lorsqu’une découpe supplémentaire est justifiée — comparer les deux moitiés pour détecter un effet de nouveauté — elle doit être prévue avant le lancement, ce qui est le cas de cette comparaison précise, dont l’intérêt est connu à l’avance.
L’attribution des variations
Un indicateur bouge pour de multiples raisons, et l’attribution au dispositif est d’autant plus tentante que la variation va dans le bon sens. Un changement d’effectif, une évolution de la charge, une modification d’un outil voisin produisent des effets comparables.
Le seul remède fiable reste le groupe témoin. À défaut, la vérification consiste à recenser explicitement ce qui a changé pendant la période, en interrogeant les personnes concernées. Cette liste est régulièrement longue, et sa constitution suffit souvent à tempérer les conclusions initialement envisagées.
La confusion entre déclaration et comportement
Les enquêtes de satisfaction sur un dispositif mesurent son acceptabilité, pas son efficacité. Ces deux dimensions sont faiblement corrélées, et certains dispositifs efficaces sont mal perçus tandis que des dispositifs appréciés ne produisent aucun effet.
Les deux mesures sont utiles et doivent être distinguées. L’acceptabilité renseigne sur la pérennité et sur le risque de contestation ; l’efficacité renseigne sur l’effet. Présenter une enquête favorable comme une preuve d’efficacité est l’une des confusions les plus répandues dans la restitution de ces démarches.
Le biais du survivant
Une dernière distorsion affecte les enseignements tirés sur plusieurs dispositifs. Les essais concluants sont documentés et présentés, les essais infructueux sont abandonnés sans trace. L’organisation constitue ainsi une mémoire exclusivement composée de succès, qui surestime l’efficacité de la démarche.
La correction consiste à documenter systématiquement les essais sans effet, avec le diagnostic qui les avait motivés. Cette documentation a une double valeur : elle évite de refaire les mêmes tentatives, et elle maintient une estimation réaliste de ce que la démarche produit, ce qui protège des attentes excessives qui conduisent ensuite à son abandon.
En résumé
L’évaluation d’un dispositif est vulnérable à des biais qui vont presque tous dans le sens de la confirmation. L’effet de l’observation modifie le comportement mesuré et s’annule seulement en présence d’un groupe témoin lui aussi observé. Le choix d’un périmètre volontaire ou d’une période calme produit un résultat qui ne se reproduira pas. L’ajustement rétrospectif du critère et la découpe opportune des périodes se préviennent en écrivant l’indicateur, le seuil et la durée avant le lancement. L’attribution des variations exige de recenser ce qui a changé par ailleurs. Enfin, l’acceptabilité déclarée ne mesure pas l’efficacité, et les essais infructueux doivent être documentés.