Lorsque l’IA aide à la prise de décision, quand les humains devraient-ils prendre le pas ?

Le marché de l’intelligence artificielle, estimé à 184 milliards de dollars, ne montre aucun signe de ralentissement. Une grande partie de ce marché est constituée d’organisations, des entreprises aux agences gouvernementales, qui s’appuient sur l’IA pour les aider à prendre des décisions. Une étude réalisée en 2023 par IBM a révélé que 43 % des PDG utilisent l’IA pour prendre des décisions stratégiques.

Mais s’appuyer sur l’IA peut s’avérer problématique, compte tenu de son historique bien documenté de biais, notamment de stéréotypes liés à la race et au sexe. Cela peut conduire à des recommandations erronées et à un traitement injuste lorsque l’IA prend en compte les données démographiques pour décourager l’octroi d’un prêt bancaire ou d’un entretien d’embauche à certaines personnes.

Selon les experts, une façon d’atténuer ces problèmes est de faire en sorte que les systèmes d’IA s’expliquent eux-mêmes. En examinant les « explications » fournies par l’IA sur la manière dont elle prend ses décisions, les responsables du recrutement ou les agents de crédit, par exemple, peuvent décider d’ignorer ou non les recommandations de l’IA.

Mais une nouvelle étude menée par Texas McCombs révèle que les explications elles-mêmes peuvent être problématiques. Elles peuvent alimenter une perception d’équité sans être fondées sur l’exactitude ou l’équité.

« Nous constatons que le processus ne conduit pas les humains à prendre des décisions de meilleure qualité ou plus justes », explique Maria De-Arteaga, professeure adjointe en gestion de l'information, des risques et des opérations.

Dans l'étude, De-Arteaga et ses co-auteurs, Jakob Schoeffer, chercheur postdoctoral à l'UT, et Niklas Kühl de l'Université de Bayreuth, en Allemagne, ont demandé à un système d'IA de lire 134 436 biographies en ligne et de prédire si chaque personne était un enseignant ou un professeur.

Ensuite, les participants humains ont été autorisés à lire les bios et à choisir de passer outre les recommandations de l'IA. Il y avait deux types d'explications, et chaque participant a vu l'une des deux :

• Explications mettant en évidence les mots-clés pertinents pour la tâche tels que « recherche » ou « écoles ».
• Explications mettant en évidence les mots-clés liés au genre, tels que « il » ou « elle ».

L’étude a révélé que les participants étaient 4,5 points de pourcentage plus susceptibles d’ignorer la recommandation de l’IA lorsque les explications mettaient l’accent sur le sexe plutôt que sur la pertinence de la tâche.

L’une des principales raisons est la suspicion d’un biais sexiste. Les participants étaient plus susceptibles de penser que les recommandations étaient injustes lorsqu’elles étaient axées sur le genre.

Illusion d’exactitude et d’équité

Mais les participants n’avaient pas toujours raison. Lorsqu’il s’agissait d’identifier les professeurs ou les enseignants, les explications basées sur le sexe n’étaient pas plus précises que celles basées sur les tâches. En fait, aucun type d’explication n’améliorait la précision humaine, par rapport aux participants qui n’avaient pas reçu d’explications.

Pourquoi les explications n'ont-elles pas conduit à de meilleures décisions ? De-Arteaga s'intéresse aux participants qui ont vu des mots pertinents pour la tâche et ont supposé qu'ils étaient exempts de préjugés sexistes.

Mais les recherches ont montré le contraire : un algorithme peut développer des préjugés sexistes en apprenant des corrélations entre des mots apparemment pertinents pour la tâche et le sexe. Les explications ne révèlent pas ce type de préjugés. Les humains supposent à tort que l'IA est neutre en termes de genre et ils refusent de passer outre.

« On espère que les explications aideront les humains à discerner si une recommandation est erronée ou biaisée », explique De-Arteaga. « Mais il y a un décalage entre ce que font les explications et ce que nous souhaiterions qu'elles fassent. »

Bien que les explications de l’IA qui tentent d’évaluer l’importance de certains facteurs puissent être intrinsèquement erronées, De-Arteaga et ses co-auteurs suggèrent plusieurs façons de rendre leur conception et leur déploiement plus utiles aux décideurs.

• Fixez des objectifs d’explications plus concrets et réalistes, en fonction des décisions à prendre, et évaluez s’ils atteignent l’objectif souhaité.
• Fournir des indices plus pertinents dans les explications, tels que ceux liés à l’équité dans le système d’IA.
• Élargissez le champ des explications en donnant plus d’informations sur le fonctionnement de l’algorithme. Par exemple, savoir quelles données sont ou ne sont pas disponibles pour le système peut permettre aux humains d’utiliser les algorithmes de manière plus efficace.
• Étudier les mécanismes psychologiques en jeu lorsque les humains décident ou non de passer outre une décision de l’IA. Les recommandations doivent être conçues de manière à refléter la manière dont les humains interagissent réellement avec l’IA, plutôt que la manière dont les chercheurs souhaiteraient qu’ils interagissent.

L’objectif, dit-elle, est de développer des outils qui aident les humains à compléter avec succès les systèmes d’IA, et non pas simplement d’offrir des explications qui créent un faux sentiment de confiance.

« C’est l’un des problèmes des explications », dit-elle. « Elles peuvent vous amener à faire davantage confiance au système, même si celui-ci ne mérite pas votre confiance. »

« Explications, équité et confiance appropriée dans la prise de décision entre l'homme et l'IA » est publié dans Actes de la conférence CHI sur les facteurs humains dans les systèmes informatiques.