L’auteur propose un modèle qui met en évidence les preuves d’équité
Crédit : Pixabay/CC0 Domaine public
L’intelligence artificielle (IA) est utilisée de diverses manières, par exemple pour créer de nouveaux types de cotes de crédit qui vont au-delà de la cote FICO traditionnelle. Cependant, bien que ces outils puissent prédire les résultats de manière puissante et précise, leurs opérations internes sont souvent difficiles à expliquer et à interpréter. En conséquence, il existe une demande croissante en éthique et en réglementation pour ce que l’on appelle l’IA explicable (xAI), en particulier dans les domaines à forts enjeux.
Dans un nouvel article, un professeur de l’Université Carnegie Mellon (CMU) suggère que les explications de l’IA sont précieuses pour les personnes affectées par les décisions d’un modèle si elles peuvent fournir la preuve qu’une décision défavorable passée était injuste. L’article est publié dans Frontières en psychologie pour un numéro spécial sur l’IA en entreprise.
« Récemment, des législateurs aux États-Unis et dans l’Union européenne ont tenté d’adopter des lois réglementant les systèmes automatisés, y compris l’explicabilité », explique Derek Leben, professeur agrégé d’éthique à la Tepper School of Business de la CMU, auteur de l’article. « Il existe plusieurs lois existantes qui imposent des exigences légales d’explicabilité, en particulier en ce qui concerne le crédit et les prêts, mais elles sont souvent difficiles à interpréter en ce qui concerne l’IA. »
En réponse aux demandes d’explicabilité, les chercheurs ont produit un large éventail de méthodes xAI en peu de temps. Ces méthodes diffèrent par le type d’explications qu’elles peuvent générer, c’est pourquoi Leben dit que nous devons maintenant nous demander : quel type d’explications est important qu’une méthode xAI produise ?
Dans l’article, Leben identifie trois types d’explications. Un type explique une décision en fournissant l’importance relative de ses caractéristiques causales (par exemple, « Votre revenu de 40 000 $ a été le facteur le plus important de votre rejet »). Un autre type explique une décision en proposant un changement contrefactuel dans les états passés qui aurait conduit à un meilleur résultat (par exemple, « Si votre salaire avait été supérieur à 50 000 $ – toutes choses étant égales par ailleurs – vous auriez été approuvé »). Le troisième type fournit des recommandations pratiques sur ce que les individus peuvent faire pour améliorer leurs résultats futurs (par exemple, « La meilleure façon pour vous d’améliorer votre score est d’augmenter vos économies de 5 000 $ »).
Bien qu’il y ait eu beaucoup de débats sur le type d’explication le plus important, Leben soutient les méthodes xAI qui fournissent des informations sur les changements contrefactuels des états passés sur la base de ce qu’il appelle la preuve de l’équité. De ce point de vue, les individus affectés par les décisions d’un modèle (patients modèles) peuvent et doivent se soucier de l’explicabilité comme moyen d’atteindre une fin, la fin vérifiant qu’une décision passée les a traités équitablement.
Les explications contrefactuelles peuvent fournir aux gens la preuve qu’une décision passée était juste de deux manières. La première consiste à démontrer qu’un modèle aurait produit une décision bénéfique dans des conditions alternatives qui sont sous le contrôle du patient modèle (ce que l’auteur appelle une preuve positive d’équité). La seconde est de montrer qu’un modèle n’aurait pas produit une décision bénéfique lorsque des attributs comportementaux ou de groupe non pertinents sont modifiés (ce que Leben appelle une preuve négative d’équité).
En d’autres termes, Leben suggère que les méthodes xAI devraient être capables de démontrer qu’une décision était contrefactuellement dépendante de caractéristiques qui étaient sous le contrôle du demandeur (par exemple, des retards de paiement) et non contrefactuellement dépendante de caractéristiques discriminatoires (par exemple, la race et le sexe) .
Leben dit que son travail a des implications pratiques. Non seulement ces idées peuvent éclairer les efforts législatifs et les normes de l’industrie en matière d’explicabilité, mais elles peuvent également être utilisées dans d’autres domaines. Par exemple, les ingénieurs qui conçoivent des modèles d’IA et leurs méthodes xAI associées peuvent utiliser la preuve d’équité pour les évaluer.
