Évaluer un outil d’IA avant de lui faire confiance

L’étude

100 radiographies, 20 points anatomiques par image, soit environ 2 000 mesures. Des orthodontistes expérimentés ont placé les points à la main, le logiciel les a placés automatiquement, et l’étude compare les deux. L’étude a été menée avec l’équipe d’orthodontie de la Faculté de médecine dentaire de Rabat. Notre contribution : l’application qui extrait les coordonnées des points et les convertit en millimètres, pour comparer les deux sources dans la même unité, sans recopie manuelle.

1. Vérifier la référence avant de juger l’outil

Avant de mesurer les erreurs du logiciel, il fallait s’assurer que la référence humaine était fiable. Deux experts ont annoté le même échantillon séparément : leur écart moyen était d’environ 1,5 mm, avec une très forte concordance. Sans cette étape, on ne sait pas si l’on mesure les erreurs de l’IA ou celles de la référence.

2. La moyenne cache l’essentiel

L’erreur moyenne du logiciel était d’environ 3,2 mm, et moins de la moitié des détections tombaient sous le seuil clinique de 2 mm. Pris globalement, le verdict serait sévère. Point par point, il est plus nuancé : les repères osseux bien dessinés sont localisés de façon stable, ceux des tissus mous beaucoup moins. La bonne question n’est pas « l’outil est-il fiable ? », mais « pour quels points, et pour quelle décision ? ».

3. Contrôler la chaîne de données

Dans une comparaison de ce type, des erreurs peuvent venir d’ailleurs que de l’IA : mauvaise échelle, recopie manuelle, formats d’export différents. Notre application, vérifiée sur dix radiographies où elle a retrouvé exactement les coordonnées exportées par le logiciel, sert de couche de contrôle. Les écarts mesurés reflètent alors le logiciel, et non la manipulation des données.

Un outil d’IA n’est pas fiable ou non fiable en bloc : il l’est pour certaines tâches, dans certaines conditions.

Partager sur LinkedIn →