Nous avons travaillé plusieurs années sur l’IA de confiance pour des systèmes critiques, au sein de consortiums industriels et académiques. L’objectif : pouvoir démontrer qu’un système se comporte comme prévu, et comprendre pourquoi quand ce n’est pas le cas.
Dans une entreprise, l’enjeu se formule plus simplement. Une décision produite ou préparée par l’IA finit toujours devant quelqu’un : un ingénieur qui signe un rapport, un manager qui valide un dossier, un client qui conteste un refus, un auditeur. Chacun a besoin d’une explication différente.
Expliquer à qui ?
- À l’utilisateur, pour qu’il sache quand faire confiance au résultat et quand le vérifier.
- Au responsable, pour qu’il puisse défendre la décision devant sa direction.
- À la personne concernée, quand la décision la touche directement.
- À l’auditeur, qui voudra retrouver ce qui a été décidé, par quel système, et sur quelles données.
Trois pratiques simples
- Garder une personne qui signe. Dans un système de rapports techniques que nous avons déployé, l’IA rédige, l’ingénieur relit et signe. La responsabilité ne change pas de mains.
- Montrer les sources. Un résultat qui renvoie aux données ou aux documents utilisés se vérifie en quelques secondes.
- Prévoir un mode sans IA. Si le modèle est indisponible ou se trompe, le travail doit pouvoir continuer à la main.
Si personne ne peut expliquer une décision à la personne qu’elle concerne, le système n’est pas prêt pour la production.
Ce que nous en retenons
L’explicabilité n’est pas une option technique que l’on ajoute à la fin. Elle se décide au cadrage, en même temps que le problème à résoudre et le responsable du système.
Vous voulez cadrer un système d’IA que vos équipes pourront assumer ? Parlons-en.
Réserver un appelAutres notes