La nouvelle approche de conception stratégique vise à transformer les erreurs de l’IA en avantages pour les utilisateurs

De plus en plus souvent, les systèmes de prêt automatisés alimentés par l’intelligence artificielle (IA) rejettent les demandeurs de prêt qualifiés sans explication.

Pire encore, ils laissent les candidats rejetés sans recours.

Les gens peuvent vivre des expériences similaires lorsqu’ils postulent à un emploi ou adressent une pétition à leur assurance maladie. Alors que les outils d’IA déterminent quotidiennement le sort des personnes se trouvant dans des situations difficiles, Upol Ehsan estime qu’il faudrait réfléchir davantage à la remise en question de ces décisions ou à leur contournement.

Ehsan, chercheur en IA explicable (XAI) à Georgia Tech, affirme que de nombreux cas de rejet ne sont pas la faute du candidat. Il s’agit plutôt d’un « joint » dans le processus de conception, d’un décalage entre ce que les concepteurs pensaient que l’IA pouvait faire et ce qui se passe dans la réalité.

Ehsan a déclaré que la « conception transparente » est la pratique standard des concepteurs d'IA. Alors que l’objectif est de créer un processus par lequel les utilisateurs obtiennent ce dont ils ont besoin sans interruption ni barrière, la conception transparente fait exactement le contraire.

Aucune réflexion ou contribution à la conception n’empêchera les outils d’IA de commettre des erreurs. Lorsque des erreurs se produisent, ceux qui en sont victimes veulent savoir pourquoi elles se sont produites.

Parce que la conception transparente implique souvent du black-boxing (le fait de dissimuler le raisonnement de l’IA), les réponses ne sont jamais fournies.

Mais et s’il existait un moyen de remettre en question les décisions d’une IA et de transformer ses erreurs en avantages pour les utilisateurs finaux ? Ehsan pense que cela peut être réalisé grâce à une « conception harmonieuse ».

Dans son dernier article, « Seamful Explainable AI : Operationalizing Seamful Design in XAI », publié sur le arXiv serveur de prépublication, Ehsan propose une manière stratégique d'anticiper les dommages causés par l'IA, d'apprendre leurs raisonnements et d'exploiter les erreurs au lieu de les dissimuler.

Donner aux utilisateurs plus d'options

Dans ses recherches, Ehsan a travaillé avec des agents de crédit qui utilisaient des systèmes automatisés d’aide aux prêts. Les coutures, ou défauts, qu'il a découverts dans les processus de ces outils ont eu un impact sur les candidats et les prêteurs.

« On s'attend à ce que le système de prêt fonctionne pour tout le monde », a déclaré Ehsan. « La réalité est que ce n'est pas le cas. Vous avez trouvé la couture une fois que vous avez compris la différence entre les attentes et la réalité. Ensuite, nous nous demandons : « Comment pouvons-nous montrer cela aux utilisateurs finaux afin qu'ils puissent en tirer parti ? »

Pour offrir aux utilisateurs des options lorsque l’IA les impacte négativement, Ehsan suggère trois éléments à prendre en compte par les concepteurs :

• Actionnabilité : les informations sur la faille aident-elles l'utilisateur à prendre des mesures éclairées conformément aux recommandations de l'IA ?
• Contestabilité : l’information fournit-elle les ressources nécessaires pour justifier de dire non à l’IA ?
• Appropriation : l'identification de ces coutures aide-t-elle l'utilisateur à adapter et à s'approprier le résultat de l'IA d'une manière différente de la conception fournie, mais l'aide-t-il à prendre la bonne décision ?

Ehsan utilise l’exemple d’une personne dont l’obtention d’un prêt a été refusée malgré de bons antécédents de crédit. Le rejet pourrait être dû à une faille, telle qu’un algorithme de discrimination défectueux, dans l’IA qui filtre les candidatures.

Un processus post-déploiement est nécessaire dans des cas comme celui-ci pour atténuer les dommages et responsabiliser les utilisateurs finaux concernés. Les demandeurs de prêt, par exemple, devraient être autorisés à contester la décision de l’IA sur la base de problèmes connus liés à un algorithme.

À contre-courant

Ehsan a déclaré que son idée d’un design homogène se situe en dehors de la langue vernaculaire dominante. Cependant, sa remise en question des principes actuellement acceptés gagne du terrain.

Il travaille désormais avec des entreprises de cybersécurité, de soins de santé et de vente qui adoptent son processus.

Ces entreprises pourraient être pionnières dans une nouvelle façon de penser la conception de l’IA. Ehsan pense que ce nouvel état d’esprit peut permettre aux concepteurs de passer à un état d’esprit proactif au lieu de rester coincés dans un état réactif de contrôle des dégâts.

« Vous voulez garder un peu d'avance pour ne pas toujours être pris au dépourvu lorsque les choses arrivent », a déclaré Ehsan. « Plus vous serez proactif et plus vous pourrez franchir de étapes dans votre processus de conception, plus vos systèmes seront sûrs et responsables. »

Ehsan a collaboré avec des chercheurs de Georgia Tech, de l'Université du Maryland et de Microsoft. Ils présenteront leur article plus tard cette année lors de la conférence 2024 de l'Association for Computing Machinery sur le travail coopératif assisté par ordinateur et l'informatique sociale (CSCW 2024) au Costa Rica.

« Une conception harmonieuse embrasse la réalité imparfaite de notre monde et en tire le meilleur parti », a-t-il déclaré. « Si cela devient courant, cela peut nous aider à lutter contre le cycle de battage médiatique dont souffre actuellement l'IA. Nous n'avons pas besoin d'exagérer la capacité de l'IA ou d'imposer des objectifs irréalisables. Cela changerait la donne en calibrant la confiance des gens dans le système. »