Mettre en lumière la « boîte noire » de l’IA
Pertinence produite par quatre méthodes d’interprétabilité post-hoc. Pertinence produite par quatre méthodes d’interprétabilité post-hoc, obtenues sur une tâche de classification de séries chronologiques, où un réseau de neurones Transformer doit identifier la pathologie d’un patient à partir de données ECG. Deux signaux (V1 et V2) sont représentés en noir et les cartes de contour représentent la pertinence produite par la méthode d’interprétabilité. Le rouge indique une pertinence positive, tandis que le bleu indique une pertinence négative. Le premier marque les parties de la série chronologique qui ont été jugées importantes par la méthode d’interprétabilité pour la prédiction du réseau de neurones, tandis que le second marque les parties de la série chronologique qui allaient à l’encontre de la prédiction. Crédit: Intelligence des machines naturelles (2023). DOI : 10.1038/s42256-023-00620-w
Des chercheurs de l’Université de Genève (UNIGE), des Hôpitaux universitaires de Genève (HUG) et de l’Université nationale de Singapour (NUS) ont développé une nouvelle méthode d’évaluation de l’interprétabilité des technologies d’intelligence artificielle (IA), ouvrant la porte à une plus grande transparence et la confiance dans les outils de diagnostic et de prédiction basés sur l’IA. L’approche innovante met en lumière le fonctionnement opaque des algorithmes d’IA dits « boîte noire », aidant les utilisateurs à comprendre ce qui influence les résultats produits par l’IA et si les résultats peuvent être fiables.
Ceci est particulièrement important dans les situations qui ont des impacts significatifs sur la santé et la vie des personnes, telles que l’utilisation de l’IA dans des applications médicales. La recherche revêt une importance particulière dans le contexte de la prochaine loi sur l’intelligence artificielle de l’Union européenne, qui vise à réglementer le développement et l’utilisation de l’IA au sein de l’UE. Les résultats ont récemment été publiés dans la revue Intelligence des machines naturelles.
Les données de séries chronologiques – représentant l’évolution des informations dans le temps – sont partout : par exemple en médecine, lors de l’enregistrement de l’activité cardiaque avec un électrocardiogramme (ECG) ; dans l’étude des tremblements de terre; suivi des modèles météorologiques ; ou en économie pour surveiller les marchés financiers. Ces données peuvent être modélisées par des technologies d’IA pour construire des outils de diagnostic ou de prédiction.
Les progrès de l’IA et notamment du deep learning, qui consiste à entraîner une machine à utiliser ces très grandes quantités de données dans le but de les interpréter et d’apprendre des schémas utiles, ouvrent la voie à des outils de diagnostic et de prédiction de plus en plus précis. Pourtant, sans aucune idée du fonctionnement des algorithmes d’IA ou de ce qui influence leurs résultats, la nature de la « boîte noire » de la technologie de l’IA soulève des questions importantes sur la fiabilité.
« Le fonctionnement de ces algorithmes est pour le moins opaque », explique le professeur Christian Lovis, directeur du Département de radiologie et d’informatique médicale de la Faculté de médecine de l’UNIGE et chef de la Division des sciences de l’information médicale aux HUG, qui a co -dirigé ce travail. « Bien sûr, les enjeux, notamment financiers, sont extrêmement importants. Mais comment faire confiance à une machine sans comprendre les bases de son raisonnement ? Ces questions sont essentielles, notamment dans des secteurs comme la médecine, où les décisions basées sur l’IA peuvent influencer la santé. » et même la vie des gens ; et la finance, où ils peuvent entraîner d’énormes pertes de capital. »
Les méthodes d’interprétabilité visent à répondre à ces questions en décryptant pourquoi et comment une IA a pris une décision donnée, et les raisons qui la sous-tendent. »Savoir quels éléments ont fait pencher la balance en faveur ou contre une solution dans une situation spécifique, permettant ainsi une certaine transparence, augmente la confiance qu’on peut leur accorder », déclare le professeur adjoint Gianmarco Mengaldo, directeur du MathEXLab au National College of Design and Engineering de l’Université de Singapour, qui a co-dirigé les travaux.
« Cependant, les méthodes d’interprétabilité actuelles qui sont largement utilisées dans les applications pratiques et les flux de travail industriels fournissent des résultats sensiblement différents lorsqu’elles sont appliquées à la même tâche. Cela soulève la question importante : quelle méthode d’interprétabilité est correcte, étant donné qu’il devrait y avoir une réponse unique et correcte. Par conséquent, l’évaluation des méthodes d’interprétabilité devient aussi importante que l’interprétabilité en soi. »
Différencier l’important de l’insignifiant
La discrimination des données est essentielle au développement de technologies d’IA interprétables. Par exemple, lorsqu’une IA analyse des images, elle se concentre sur quelques attributs caractéristiques. Doctorant dans le laboratoire du Pr Lovis et premier auteur de l’étude, Hugues Turbé explique : « L’IA peut, par exemple, faire la différence entre une image de chien et une image de chat. Le même principe s’applique à l’analyse des séquences temporelles : la machine a besoin pouvoir sélectionner des éléments, des pics plus prononcés que d’autres par exemple, sur lesquels fonder son raisonnement.Avec les signaux ECG, il s’agit de concilier les signaux des différentes électrodes pour évaluer d’éventuelles dissonances qui seraient le signe d’une maladie cardiaque particulière . »
Choisir une méthode d’interprétabilité parmi toutes celles disponibles pour un objectif spécifique n’est pas facile. Différentes méthodes d’interprétabilité de l’IA produisent souvent des résultats très différents, même lorsqu’elles sont appliquées sur le même ensemble de données et la même tâche. Pour relever ce défi, les chercheurs ont développé deux nouvelles méthodes d’évaluation pour aider à comprendre comment l’IA prend des décisions : une pour identifier les parties les plus pertinentes d’un signal et une autre pour évaluer leur importance relative par rapport à la prédiction finale.
Pour évaluer l’interprétabilité, ils ont masqué une partie des données afin de vérifier si elles étaient pertinentes pour la prise de décision de l’IA. Cependant, cette approche a parfois causé des erreurs dans les résultats. Pour corriger cela, ils ont formé l’IA sur un ensemble de données augmenté qui comprend des données cachées qui ont aidé à garder les données équilibrées et précises. L’équipe a ensuite créé deux façons de mesurer le fonctionnement des méthodes d’interprétabilité, en montrant si l’IA utilisait les bonnes données pour prendre des décisions et si toutes les données étaient prises en compte de manière équitable.
« Globalement, notre méthode vise à évaluer le modèle qui sera effectivement utilisé dans son domaine opérationnel, assurant ainsi sa fiabilité », explique Turbé.
Pour approfondir leurs recherches, l’équipe a développé un ensemble de données synthétiques, qu’elle a mis à la disposition de la communauté scientifique, pour évaluer facilement toute nouvelle IA visant à interpréter des séquences temporelles.
À l’avenir, l’équipe prévoit maintenant de tester sa méthode dans un cadre clinique, où l’appréhension de l’IA reste répandue. « Renforcer la confiance dans l’évaluation des IA est une étape clé vers leur adoption en milieu clinique », explique le Dr Mina Bjelogrlic, qui dirige l’équipe d’apprentissage automatique de la division du professeur Lovis et est le deuxième auteur de cette étude. « Notre étude se concentre sur l’évaluation des IA basées sur des séries chronologiques, mais la même méthodologie pourrait être appliquée aux IA basées sur d’autres modalités utilisées en médecine, comme les images ou le texte. »
