Comprendre la prise de décision de l’IA: la recherche examine la transparence du modèle
Faisons-nous notre confiance dans la technologie que nous ne comprenons pas pleinement? Une nouvelle étude de l’Université de Surrey arrive à un moment où les systèmes d’IA prennent des décisions ayant un impact sur notre vie quotidienne – des banques et des soins de santé à la détection de la criminalité. L’étude nécessite un changement immédiat dans la façon dont les modèles d’IA sont conçus et évalués, soulignant le besoin de transparence et de fiabilité dans ces algorithmes puissants.
La recherche est publiée dans la revue Intelligence artificielle appliquée.
À mesure que l’IA s’intègre dans les secteurs à enjeux élevés où les décisions peuvent avoir des conséquences qui changent la vie, les risques associés aux modèles « Black Box » sont plus importants que jamais. La recherche met en lumière les cas où les systèmes d’IA doivent fournir des explications adéquates à leurs décisions, permettant aux utilisateurs de faire confiance et de comprendre l’IA plutôt que de les laisser confus et vulnérables.
Avec les cas de diagnostic erroné dans les soins de santé et les alertes de fraude erronées dans les services bancaires, le potentiel de préjudice – qui pourrait être mortel – est significatif.
Les chercheurs de Surrey détaillent les cas alarmants où les systèmes d’IA n’ont pas expliqué de manière adéquate leurs décisions, laissant les utilisateurs confus et vulnérables. Les ensembles de données de fraude sont intrinsèquement déséquilibrés – 0,01% sont des transactions frauduleuses, ce qui est en dommage à l’échelle de milliards de dollars.
Il est rassurant que les gens sachent que la plupart des transactions sont authentiques, mais le déséquilibre remet en question l’IA dans l’apprentissage des modèles de fraude. Pourtant, les algorithmes d’IA peuvent identifier une transaction frauduleuse avec une grande précision, mais n’ont actuellement pas la capacité d’expliquer adéquatement pourquoi elle est frauduleuse.
Le Dr Wolfgang Garn, co-auteur de l’étude et maître de conférences en analyse à l’Université de Surrey, a déclaré: « Nous ne devons pas oublier que derrière la solution de chaque algorithme, il y a de vraies personnes dont la vie est affectée par les décisions déterminées. Notre objectif. est de créer des systèmes d’IA qui sont non seulement intelligents mais qui fournissent également des explications aux personnes – les utilisateurs de la technologie – qu’ils peuvent faire confiance et comprendre. «
L’étude propose un cadre complet connu sous le nom de SAGE (paramètres, public, objectifs et éthiques) pour résoudre ces problèmes critiques. Sage est conçu pour garantir que les explications de l’IA sont non seulement compréhensibles mais également contextuellement pertinentes pour les utilisateurs finaux.
En se concentrant sur les besoins et les antécédents spécifiques du public visé, le Sage Framework vise à combler l’écart entre les processus de prise de décision complexes d’IA et les opérateurs humains qui en dépendent.
En conjonction avec ce cadre, la recherche utilise des techniques de conception basée sur un scénario (SBD), qui approfondissent les scénarios du monde réel pour découvrir ce que les utilisateurs ont vraiment besoin des explications d’IA. Cette méthode encourage les chercheurs et les développeurs à entrer dans les chaussures des utilisateurs finaux, garantissant que les systèmes d’IA sont fabriqués avec empathie et compréhension à la base.
Le Dr Garn a déclaré: « Nous devons également mettre en évidence les lacunes des modèles d’IA existants, qui n’ont souvent pas la conscience contextuelle nécessaire pour fournir des explications significatives. Principes de conception centrés.
« Il appelle les développeurs de l’IA à s’engager avec les spécialistes de l’industrie et les utilisateurs finaux, favorisant un environnement collaboratif où les idées de diverses parties prenantes peuvent façonner l’avenir de l’IA. Le chemin vers un paysage d’IA plus sûr et plus fiable commence par un engagement à comprendre le La technologie que nous créons et l’impact qu’il a sur nos vies.
La recherche met en évidence l’importance des modèles d’IA expliquant leurs résultats sous forme de texte ou de représentations graphiques, répondant aux divers besoins de compréhension des utilisateurs.
Ce changement vise à garantir que les explications sont non seulement accessibles, mais également à la réalisation, permettant aux utilisateurs de prendre des décisions éclairées en fonction des informations d’IA.
