IA tueuse ?  Le sommet néerlandais se concentrera sur l'utilisation militaire

Une étude montre un préjugé culturel pro-occidental dans la manière dont les décisions en matière d’IA sont expliquées

Les humains utilisent de plus en plus l’intelligence artificielle (IA) pour éclairer les décisions concernant nos vies. L’IA aide par exemple à faire des choix d’embauche et à proposer des diagnostics médicaux.

Si vous avez été concerné, vous souhaiterez peut-être une explication sur la raison pour laquelle un système d’IA a pris la décision qu’il a prise. Pourtant, les systèmes d’IA sont souvent si complexes sur le plan informatique que même leurs concepteurs ne savent pas exactement comment les décisions ont été prises. C’est pourquoi le développement de « l’IA explicable » (ou XAI) est en plein essor. L'IA explicable comprend des systèmes qui sont soit eux-mêmes suffisamment simples pour être entièrement compris par les gens, soit qui produisent des explications facilement compréhensibles des résultats d'autres modèles d'IA plus complexes.

Les systèmes d'IA explicables aident les ingénieurs en IA à surveiller et à corriger le traitement de leurs modèles. Ils aident également les utilisateurs à prendre des décisions éclairées quant à savoir s’ils doivent faire confiance ou comment utiliser au mieux les résultats de l’IA.

Tous les systèmes d’IA n’ont pas besoin d’être explicables. Mais dans les domaines à enjeux élevés, on peut s’attendre à ce que XAI se généralise. Par exemple, la loi européenne sur l’IA récemment adoptée, précurseur de lois similaires dans le monde entier, protège un « droit à l’explication ». Les citoyens ont le droit de recevoir une explication sur une décision d’IA qui affecte leurs autres droits.

Mais que se passe-t-il si quelque chose comme votre origine culturelle affecte les explications que vous attendez d’une IA ?

Dans une récente revue systématique, nous avons analysé plus de 200 études des 10 dernières années (2012-2022) dans lesquelles les explications données par les systèmes XAI ont été testées sur des personnes. Nous voulions voir dans quelle mesure les chercheurs indiquaient qu’ils étaient conscients des variations culturelles potentiellement pertinentes pour concevoir une IA explicable satisfaisante.

Nos résultats suggèrent que de nombreux systèmes existants peuvent produire des explications qui sont principalement adaptées aux populations individualistes, typiquement occidentales (par exemple, les habitants des États-Unis ou du Royaume-Uni). En outre, la plupart des études sur les utilisateurs de XAI ont uniquement échantillonné des populations occidentales, mais les généralisations injustifiées des résultats aux populations non occidentales étaient omniprésentes.

Différences culturelles dans les explications

Il existe deux manières courantes d’expliquer les actions d’une personne. La première consiste à invoquer les croyances et les désirs de la personne. Cette explication est internaliste, centrée sur ce qui se passe dans la tête de quelqu'un. L’autre est externaliste, citant des facteurs tels que les normes sociales, les règles ou d’autres facteurs extérieurs à la personne.

Pour voir la différence, réfléchissez à la manière dont nous pourrions expliquer l’arrêt d’un conducteur à un feu rouge. Nous pourrions dire : « Ils croient que le feu est rouge et ne veulent enfreindre aucune règle de circulation, alors ils ont décidé de s'arrêter ». C'est une explication internaliste. Mais on pourrait aussi dire : « Les feux sont rouges et le code de la route exige que les conducteurs s'arrêtent aux feux rouges, donc le conducteur s'est arrêté ». Il s’agit d’une explication externaliste.

De nombreuses études psychologiques suggèrent que les explications internalistes sont préférées dans les pays « individualistes » où les gens se considèrent souvent comme plus indépendants des autres. Ces pays ont tendance à être occidentaux, instruits, industrialisés, riches et démocratiques.

Cependant, de telles explications ne sont évidemment pas préférées aux explications externalistes dans les sociétés « collectivistes », comme celles que l’on trouve couramment en Afrique ou en Asie du Sud, où les gens se considèrent souvent comme interdépendants.

Les préférences dans l’explication du comportement sont pertinentes pour ce que pourrait être une sortie XAI réussie. Une IA qui propose un diagnostic médical peut être accompagnée d'une explication telle que : « Puisque vos symptômes sont de la fièvre, un mal de gorge et des maux de tête, le classificateur pense vous avez la grippe. » Ceci est internaliste parce que l’explication invoque un état « interne » de l’IA – ce qu’elle « pense » – quoique métaphoriquement. Alternativement, le diagnostic pourrait être accompagné d’une explication qui ne mentionne pas un état interne, comme : « Puisque vos symptômes sont de la fièvre, des maux de gorge et des maux de tête, sur la base de sa formation sur les critères d'inclusion diagnostiques, le classificateur produit le résultat que vous avez la grippe. » L'explication s'appuie sur des facteurs « externes » comme les critères d'inclusion, similaires. à la façon dont on pourrait expliquer l'arrêt à un feu tricolore en faisant appel au code de la route.

Si des personnes de cultures différentes préfèrent différents types d’explications, cela est important pour concevoir des systèmes inclusifs d’IA explicable.

Nos recherches suggèrent cependant que les développeurs XAI ne sont pas sensibles aux différences culturelles potentielles dans les préférences d’explication.

Ne pas tenir compte des différences culturelles

Il est frappant de constater que 93,7 % des études que nous avons examinées n’indiquaient pas de prise de conscience des variations culturelles potentiellement pertinentes pour la conception d’une IA explicable. De plus, lorsque nous avons vérifié l’origine culturelle des personnes testées dans les études, nous avons constaté que 48,1 % des études ne faisaient aucun rapport sur l’origine culturelle. Cela suggère que les chercheurs n’ont pas considéré le contexte culturel comme un facteur susceptible d’influencer la généralisabilité des résultats.

Parmi ceux qui ont fait état de leur origine culturelle, 81,3 % n’ont échantillonné que des populations occidentales, industrialisées, instruites, riches et démocratiques. Seulement 8,4 % des populations non occidentales ont été échantillonnées et 10,3 % des populations mixtes ont été échantillonnées.

Échantillonner un seul type de population ne pose pas nécessairement de problème si les conclusions se limitent à cette population ou si les chercheurs donnent des raisons de penser que d’autres populations sont similaires. Pourtant, parmi les études portant sur le contexte culturel, 70,1 % ont étendu leurs conclusions au-delà de la population étudiée – aux utilisateurs, aux personnes, aux humains en général – et la plupart des études ne contenaient aucune preuve de réflexion sur la similarité culturelle.

Pour voir à quel point la surveillance de la culture est profonde dans la recherche sur l'IA explicable, nous avons ajouté une « méta » revue systématique de 34 revues de la littérature existante dans le domaine. Étonnamment, seules deux revues ont commenté l’échantillonnage biaisé vers l’Occident dans les recherches sur les utilisateurs, et une seule revue a mentionné des généralisations excessives des résultats de l’étude XAI.

C'est problématique.

Pourquoi les résultats sont importants

Si les découvertes sur les systèmes d’IA explicables ne s’appliquent qu’à un seul type de population, ces systèmes risquent de ne pas répondre aux exigences explicatives des autres personnes affectées par eux ou qui les utilisent. Cela peut diminuer la confiance dans l’IA. Lorsque les systèmes d’IA prennent des décisions à enjeux élevés mais ne vous donnent pas d’explication satisfaisante, vous vous méfierez probablement d’eux même si leurs décisions (comme les diagnostics médicaux) sont exactes et importantes pour vous.

Pour remédier à ce biais culturel dans XAI, les développeurs et les psychologues doivent collaborer pour tester les différences culturelles pertinentes. Nous recommandons également que les antécédents culturels des échantillons soient signalés avec les résultats de l'étude des utilisateurs XAI.

Les chercheurs doivent indiquer si leur échantillon d’étude représente une population plus large. Ils peuvent également utiliser des qualificatifs tels que « utilisateurs américains » ou « participants occidentaux » pour rendre compte de leurs conclusions.

Alors que l’IA est utilisée dans le monde entier pour prendre des décisions importantes, les systèmes doivent fournir des explications que les personnes de différentes cultures trouvent acceptables. Dans l’état actuel des choses, de grandes populations qui pourraient bénéficier du potentiel de l’IA explicable risquent d’être négligées dans la recherche XAI.

Cet article est republié à partir de The Conversation sous une licence Creative Commons. Lisez l'article original.La conversation