Beyond the Metric est la publication de BTM Analytics, une entreprise canadienne qui travaille sur la mesure, l'inférence et la prise de décision en performance humaine.
On peut mesurer énormément de choses. La question plus difficile, c'est ce que ces mesures veulent dire.
Le résultat est-il reproductible? Représente-t-il ce que l'on croit qu'il représente? Tient-il sur une autre saison, une autre population, un autre environnement? Et la preuve est-elle assez solide pour soutenir la décision qu'on en tire?
Un chiffre peut être parfaitement bien mesuré et rester une mauvaise base d'inférence.
C'est sur cet écart que travaille cette publication.
La question n'est pas seulement de savoir si un chiffre est juste. C'est de savoir quelle confiance ce chiffre justifie, jusqu'où l'inférence peut raisonnablement aller, et si cela suffit pour la décision qui est prise.
Nous puisons dans des domaines qu'on ne réunit pas toujours en analyse de la performance humaine: théorie de l'information, traitement du signal, physiologie, systèmes dynamiques, statistique et science de la mesure. Puis nous vérifions si ces outils révèlent une structure que les approches conventionnelles manquent, et si cette structure résiste aux tentatives de la casser.
Le processus est délibérément transparent. Le problème de mesure est défini. Les hypothèses sont rendues explicites. Les méthodes sont éprouvées pour la robustesse, la sensibilité, la répétabilité et, lorsque c'est possible, la réplication, avant qu'une conclusion soit tirée.
Toutes les méthodes ne survivent pas.
Cela compte.
Le résultat est un corpus qui grandit, avec ses normes affichées: sources de données nommées, hypothèses explicites, limites déclarées, méthodes reproductibles, et des figures interactives qu'on peut interroger au lieu de simplement regarder.
Le hockey est l'endroit où une bonne partie de ce travail a commencé, parce que son registre public est exceptionnellement long, détaillé et répété. Cela en fait un excellent terrain pour demander si une mesure tient d'un joueur à l'autre, d'une équipe à l'autre, d'une saison à l'autre et d'un contexte à l'autre.
Mais la question n'a jamais porté sur le hockey.
Le même problème apparaît partout où la performance humaine est mesurée puis transformée en décision: en sport, en contexte tactique et professionnel, et en physiologie appliquée.
Le chiffre change.
Les questions de fond, non:
- Que mesure-t-on vraiment?
- Peut-on le reproduire?
- Où cela cesse-t-il de se généraliser?
- Et quelle décision la preuve justifie-t-elle?