Une étude présente une nouvelle méthode pour une IA explicable
L’intelligence artificielle est déjà largement utilisée, mais il est encore difficile de comprendre comment un système d’IA prend ses décisions. Les scientifiques du Fraunhofer Heinrich-Hertz-Institut (HHI) et de l’Institut berlinois pour les fondements de l’apprentissage et des données (BIFOLD) de la TU Berlin collaborent depuis de nombreuses années pour rendre l’IA explicable. Aujourd’hui, les scientifiques dirigés par le professeur Thomas Wiegand (Fraunhofer HHI, BIFOLD), le professeur Wojciech Samek (Fraunhofer HHI, BIFOLD) et le Dr Sebastian Lapuschkin (Fraunhofer HHI) ont franchi une nouvelle étape.
Dans leur article « Des cartes d’attribution aux explications compréhensibles par l’homme grâce à la propagation de la pertinence des concepts », les chercheurs présentent la propagation de la pertinence des concepts (CRP), une nouvelle méthode qui peut expliquer les décisions individuelles de l’IA en tant que concepts compréhensibles pour les humains. L’article a maintenant été publié dans Intelligence des machines naturelles.
Les systèmes d’IA sont en grande partie des boîtes noires : les humains ne comprennent généralement pas comment une IA arrive à une certaine décision. CRP est une méthode explicative de pointe pour les réseaux de neurones profonds qui complète et approfondit les modèles explicatifs existants. Ce faisant, le CRP révèle non seulement les caractéristiques de l’entrée qui sont pertinentes pour la décision prise, mais également les concepts utilisés par l’IA, l’endroit où ils sont représentés dans l’entrée et quelles parties du réseau neuronal en sont responsables. .
Ainsi, le CRP est capable d’expliquer les décisions individuelles prises par une IA en utilisant des concepts compréhensibles pour les humains. En conséquence, cette recherche établit une toute nouvelle norme pour l’évaluation et l’interaction avec l’IA.
Pour la première fois, cette approche de l’explicabilité examine l’ensemble du processus de prédiction d’une IA, depuis l’entrée jusqu’à la sortie. Ces dernières années, l’équipe de recherche a déjà développé diverses méthodes permettant d’utiliser ce que l’on appelle les cartes thermiques pour expliquer comment les algorithmes d’IA prennent leurs décisions.
Les cartes thermiques mettent en évidence des zones spécifiques d’une image qui sont particulièrement pertinentes pour la décision prise. Cette méthode est connue sous le nom de propagation de pertinence par couche (LRP). L’importance de ce type d’explicabilité est énorme, car elle nous permet de comprendre si une IA prend réellement des décisions basées sur un raisonnement solide ou si elle a simplement appris des stratégies de raccourci et triche donc.
La nouvelle méthode CRP s’appuie sur la propagation de la pertinence par couche. « La reconnaissance d’images par l’IA en est un bon exemple », déclare le professeur Wojciech Samek, chef du département d’intelligence artificielle du Fraunhofer HHI, professeur d’apprentissage automatique et de communications à la TU Berlin et BIFOLD Fellow. « Au niveau de l’entrée, le CRP indique quels pixels d’une image sont les plus pertinents pour le processus de décision de l’IA. Il s’agit d’une étape importante dans la compréhension des décisions d’une IA, mais cela n’explique pas le concept sous-jacent de la raison pour laquelle l’IA considère ces pixels exacts. « .
À titre de comparaison, lorsque les humains voient une surface rayée en noir et blanc, ils ne reconnaissent pas automatiquement un zèbre. Pour ce faire, ils ont également besoin d’informations comme les quatre pattes, les sabots, la queue, etc. Finalement, ils combinent l’information des pixels (noir et blanc) avec la notion d’animal.
« CRP transfère l’explication de l’espace d’entrée, où se trouvent l’image avec tous ses pixels, vers l’espace conceptuel sémantiquement enrichi formé par les couches supérieures du réseau neuronal », déclare le Dr Sebastian Lapuschkin, chef du groupe de recherche Explainable Artificial Intelligence. au Fraunhofer HHI, élaborant la nouvelle méthode.
« CRP est la prochaine étape dans l’explicabilité de l’IA et offre des possibilités entièrement nouvelles en termes d’investigation, de test et d’amélioration des fonctionnalités des modèles d’IA. Nous sommes déjà très enthousiastes à l’idée d’appliquer notre nouvelle méthode à de grands modèles de langage comme ChatGPT. »
