Les philosophes ont étudié les « contrefactuels » pendant des décennies. Vont-ils nous aider à percer les mystères de l’IA ?

L’intelligence artificielle est de plus en plus déployée dans le monde entier pour aider à prendre des décisions dans nos vies, que ce soit décisions de prêt par les banques, diagnostics médicauxou les forces de l’ordre américaines prévoyant un probabilité de récidive du criminel.

Pourtant, de nombreux systèmes d’IA sont des boîtes noires : personne ne comprend leur fonctionnement. Cela a conduit à une demande d' »IA explicable », afin que nous puissions comprendre Pourquoi un modèle d’IA a produit un résultat spécifique et quels biais ont pu jouer un rôle.

L’IA explicable est une branche croissante de la recherche sur l’IA. Mais ce qui est peut-être moins connu, c’est le rôle que joue la philosophie dans son développement.

Plus précisément, une idée appelée « explication contrefactuelle » est souvent avancée comme solution aux problèmes de la boîte noire. Mais une fois que vous avez compris la philosophie qui la sous-tend, vous pouvez commencer à comprendre pourquoi elle est insuffisante.

Pourquoi les explications sont importantes

Lorsque l’IA est utilisée pour prendre des décisions qui changent la vie, les personnes concernées méritent une explication sur la façon dont cette décision a été prise. Cela a été récemment reconnu par l’Union européenne Règlement général sur la protection des donnéesqui soutient le droit d’un individu à l’explication.

Le besoin d’explication a également été souligné dans l’affaire Robodebt en Australie, où un algorithme a été utilisé pour prédire les niveaux d’endettement des personnes bénéficiant de la sécurité sociale. Le système a commis de nombreuses erreurs, endettant des gens qui n’auraient pas dû l’être.

Ce n’est qu’une fois que l’algorithme a été pleinement expliqué que l’erreur a été identifiée, mais à ce moment-là, le mal était déjà fait. Le résultat a été si dommageable qu’il a conduit à une Commission royale mise en place en août 2022.

Dans l’affaire Robodebt, l’algorithme en question était assez simple et pouvait être expliqué. Nous ne devrions pas nous attendre à ce que ce soit toujours le cas à l’avenir. Les modèles d’IA actuels utilisant l’apprentissage automatique pour traiter les données sont beaucoup plus sophistiqués.

La grande boîte noire flagrante

Supposons qu’une personne nommée Sara demande un prêt. La banque lui demande de fournir des informations telles que son état civil, son niveau d’endettement, ses revenus, son épargne, son adresse personnelle et son âge.

La banque alimente ensuite ces informations dans un système d’IA, qui renvoie une cote de crédit. Le score est bas et est utilisé pour disqualifier Sara pour le prêt, mais ni Sara ni les employés de la banque ne savent pourquoi le système a noté Sara si bas.

Contrairement à Robodebt, l’algorithme utilisé ici peut être extrêmement compliqué et difficile à expliquer. Il n’y a donc aucun moyen simple de savoir s’il a commis une erreur, et Sara n’a aucun moyen d’obtenir les informations dont elle a besoin pour contester la décision.

Ce scénario n’est pas entièrement hypothétique : les décisions de prêt sont susceptibles d’être sous-traitées à des algorithmes aux États-Unis, et il existe un risque réel ils encoderont le biais. Pour atténuer les risques, il faut essayer d’expliquer leur fonctionnement.

L’approche contrefactuelle

En gros, il y a deux types d’approches à l’IA explicable. L’une consiste à ouvrir un système et à étudier ses composants internes pour discerner comment il fonctionne. Mais cela n’est généralement pas possible en raison de la complexité de nombreux systèmes d’IA.

L’autre approche consiste à laisser le système fermé et à étudier ses entrées et ses sorties à la recherche de modèles. La méthode « contrefactuelle » relève de cette approche.

Les contrefactuels sont des affirmations sur ce qui se passerait si les choses s’étaient déroulées différemment. Dans un contexte d’IA, cela signifie considérer comment la sortie d’un système d’IA pourrait être différente s’il reçoit des entrées différentes. Nous pouvons alors soi-disant utiliser cela pour expliquer pourquoi le système a produit le résultat qu’il a fait.

Supposons que la banque alimente son système d’IA avec différentes informations (manipulées) sur Sara. À partir de là, la banque calcule que le plus petit changement dont Sara aurait besoin pour obtenir un résultat positif serait d’augmenter ses revenus.

La banque peut alors apparemment utiliser ceci comme explication : le prêt de Sara a été refusé car ses revenus étaient trop faibles. Si ses revenus avaient été plus élevés, elle aurait obtenu un prêt.

Tel explications contrefactuelles sont en cours sérieusement considéré comme un moyen de satisfaire la demande d’IA explicable, y compris dans les cas de demandes de prêt et d’utilisation de l’IA pour faire découvertes scientifiques.

Cependant, comme les chercheurs l’ont soutenu, l’approche contrefactuelle est inadéquat.

Corrélation et explication

Lorsque nous considérons les modifications apportées aux entrées d’un système d’IA et comment elles se traduisent en sorties, nous parvenons à recueillir des informations sur les corrélations. Mais, comme le dit le vieil adage, la corrélation n’est pas la causalité.

La raison pour laquelle c’est un problème est que les travaux en philosophie suggèrent que la causalité est étroitement lié à l’explication. Pour expliquer pourquoi un événement s’est produit, nous devons savoir ce qui l’a causé.

Sur cette base, c’est peut-être une erreur pour la banque de dire à Sara que son prêt a été refusé parce que son revenu était trop faible. Tout ce qu’il peut vraiment dire avec confiance, c’est que le revenu et le pointage de crédit sont corrélés – et Sara n’a toujours pas d’explication pour son mauvais résultat.

Ce qu’il faut, c’est un moyen de transformer les informations sur les contrefactuels et les corrélations en informations explicatives.

L’avenir de l’IA explicable

Avec le temps, nous pouvons nous attendre à ce que l’IA soit davantage utilisée pour les décisions d’embauche, les demandes de visa, les promotions et les décisions de financement des États et du gouvernement fédéral, entre autres.

Un manque d’explication de ces décisions menace d’augmenter considérablement l’injustice que les gens subiront. Après tout, sans explications, nous ne pouvons pas corriger les erreurs commises lors de l’utilisation de l’IA. Heureusement, la philosophie peut aider.

L’explication a été un élément central sujet d’étude philosophique au cours du siècle dernier. Les philosophes ont conçu une gamme de méthodes pour extraire des informations explicatives à partir d’une mer de corrélations et ont développé des théories sophistiquées sur le fonctionnement de l’explication.

Une grande partie de ce travail s’est concentrée sur la relation entre contrefactuels et explication. j’ai développé travailler sur ça moi même. En nous appuyant sur des idées philosophiques, nous pourrons peut-être développer de meilleures approches de l’IA explicable.

À l’heure actuelle, cependant, il n’y a pas assez de chevauchement entre la philosophie et l’informatique sur ce sujet. Si nous voulons nous attaquer de front à l’injustice, nous aurons besoin d’une approche plus intégrée qui combine le travail dans ces domaines.