Les personnes confrontées à des choix de vie ou de mort font trop confiance à l’IA

Lors de simulations de décisions de vie ou de mort, environ deux tiers des personnes participant à une étude de l'UC Merced ont permis à un robot de changer d'avis lorsqu'il n'était pas d'accord avec elles, ce qui constitue une démonstration alarmante de confiance excessive dans l'intelligence artificielle, ont déclaré les chercheurs.

Les sujets humains ont laissé les robots influencer leur jugement, même s'ils avaient été informés que les machines d'IA avaient des capacités limitées et donnaient des conseils qui pouvaient être erronés. En réalité, les conseils étaient aléatoires.

« En tant que société, l’IA progresse si rapidement que nous devons nous inquiéter du risque d’excès de confiance », a déclaré le professeur Colin Holbrook, chercheur principal de l’étude et membre du département des sciences cognitives et de l’information de l’UC Merced. De plus en plus d’études indiquent que les gens ont tendance à faire trop confiance à l’IA, même lorsque les conséquences d’une erreur seraient graves.

Ce dont nous avons plutôt besoin, a déclaré Holbrook, c’est d’une application cohérente du doute.

« Nous devrions faire preuve d’un scepticisme sain à l’égard de l’IA », a-t-il déclaré, « en particulier lorsqu’il s’agit de décisions de vie ou de mort. »

L'étude, publiée dans la revue Rapports scientifiquesconsistait en deux expériences. Dans chacune d'elles, le sujet devait simuler le contrôle d'un drone armé capable de tirer un missile sur une cible affichée sur un écran. Les photos de huit cibles apparaissaient successivement pendant moins d'une seconde chacune. Les photos étaient marquées d'un symbole : l'une pour un allié, l'autre pour un ennemi.

« Nous avons calibré la difficulté pour rendre le défi visuel réalisable mais difficile », a déclaré Holbrook.

L'écran affiche alors l'une des cibles, non marquée. Le sujet doit fouiller dans sa mémoire et choisir. Ami ou ennemi ? Tirer un missile ou se retirer ?

Après que la personne ait fait son choix, un robot a donné son avis.

« Oui, je crois que j'ai vu aussi une coche ennemie », pourrait-il dire. Ou « Je ne suis pas d'accord. Je pense que cette image avait un symbole d'allié. »

Le sujet avait deux chances de confirmer ou de modifier son choix tandis que le robot ajoutait davantage de commentaires, sans jamais changer son évaluation, par exemple « J'espère que vous avez raison » ou « Merci d'avoir changé d'avis ».

Les résultats variaient légèrement selon le type de robot utilisé. Dans un scénario, le sujet était rejoint dans la salle de laboratoire par un androïde grandeur nature ressemblant à un humain qui pouvait pivoter au niveau de la taille et faire des gestes devant l'écran. D'autres scénarios projetaient un robot ressemblant à un humain sur un écran ; d'autres présentaient des robots ressemblant à des boîtes qui ne ressemblaient en rien à des personnes.

Les sujets étaient légèrement plus influencés par les IA anthropomorphes lorsqu’elles leur conseillaient de changer d’avis. Pourtant, l’influence était similaire dans tous les cas, les sujets changeant d’avis environ deux tiers du temps, même lorsque les robots semblaient inhumains. À l’inverse, si le robot était d’accord avec le choix initial, le sujet s’en tenait presque toujours à son choix et se sentait beaucoup plus sûr que son choix était le bon.

(Les sujets n'ont pas été informés si leurs choix finaux étaient corrects, ce qui a accru l'incertitude de leurs actions. Accessoirement : leurs premiers choix étaient corrects environ 70 % du temps, mais leurs choix finaux sont tombés à environ 50 % après que le robot a donné ses conseils peu fiables.)

Avant la simulation, les chercheurs ont montré aux participants des images de civils innocents, dont des enfants, ainsi que les dégâts causés par une frappe de drone. Ils ont vivement encouragé les participants à considérer la simulation comme si elle était réelle et à ne pas tuer d’innocents par erreur.

Les entretiens de suivi et les questions de l'enquête ont montré que les participants prenaient leurs décisions au sérieux. Selon Holbrook, cela signifie que l'excès de confiance observé dans les études s'est produit malgré le désir sincère des sujets d'avoir raison et de ne pas nuire à des innocents.

Holbrook a souligné que la conception de l’étude était un moyen de tester la question plus large de la confiance excessive accordée à l’IA dans des circonstances incertaines. Les résultats ne concernent pas uniquement les décisions militaires et pourraient être appliqués à des contextes tels que la police influencée par l’IA pour utiliser la force létale ou un ambulancier influencé par l’IA pour décider qui soigner en premier en cas d’urgence médicale. Les résultats pourraient être étendus, dans une certaine mesure, à des décisions importantes qui changent la vie, comme l’achat d’une maison.

« Notre projet portait sur les décisions à haut risque prises dans des conditions d’incertitude lorsque l’IA n’est pas fiable », a-t-il déclaré.

Les résultats de l'étude alimentent également les débats publics sur la présence croissante de l'IA dans nos vies. Avons-nous confiance en l'IA ou non ?

Ces résultats suscitent d’autres inquiétudes, a déclaré Holbrook. Malgré les progrès stupéfiants de l’IA, la partie « intelligence » pourrait ne pas inclure de valeurs éthiques ou une véritable connaissance du monde. Nous devons être prudents chaque fois que nous confions à l’IA une nouvelle clé pour diriger nos vies, a-t-il déclaré.

« Nous voyons l'IA faire des choses extraordinaires et nous pensons que, parce qu'elle est incroyable dans un domaine, elle le sera aussi dans un autre », a déclaré Holbrook. « Nous ne pouvons pas le supposer. Ce sont toujours des appareils aux capacités limitées. »