Les chatbots AI restent trop confiants – même quand ils se trompent, les résultats de l'étude

Les chatbots de l'intelligence artificielle sont partout ces jours-ci, des applications pour smartphone et des portails de service client aux moteurs de recherche en ligne. Mais que se passe-t-il lorsque ces outils pratiques surestiment leurs propres capacités?

Les chercheurs ont demandé aux participants humains et à quatre modèles de grande langue (LLM) à quel point ils se sentaient confiants dans leur capacité à répondre aux questions des anecdotes, à prédire les résultats des jeux de la NFL ou des cérémonies de remise des prix, ou de jouer un jeu d'identification d'image de type pictionnaire. Les gens et les LLMs avaient tendance à être trop confiants sur la façon dont ils fonctionneraient hypothétiquement. Fait intéressant, ils ont également répondu aux questions ou identifié des images avec des taux de réussite relativement similaires.

Cependant, lorsque les participants et les LLM ont été demandés rétroactivement à quel point ils pensaient qu'ils faisaient, seuls les humains semblaient capables d'ajuster les attentes, selon une étude publiée dans la revue Mémoire et cognition.

« Disons que les gens nous ont dit qu'ils allaient obtenir 18 questions correctement, et ils ont fini par obtenir 15 questions. En règle générale, leur estimation serait par la suite quelque chose comme 16 bonnes réponses », a déclaré Trent Cash, qui a récemment terminé un doctorat conjoint. à l'Université Carnegie Mellon dans les départements de la science de la décision sociale et de la psychologie. « Donc, ils seraient toujours un peu trop confiants, mais pas trop confiants. »

« Les LLM ne l'ont pas fait », a déclaré Cash, qui était auteur principal de l'étude. « Ils avaient tendance à devenir plus confiants, même lorsqu'ils n'ont pas si bien fait la tâche. »

Le monde de l'IA change rapidement chaque jour, ce qui tire des conclusions générales sur ses demandes difficiles, a reconnu en espèces.

Cependant, une force de l'étude a été que les données ont été collectées au cours de deux ans, ce qui signifiait utiliser des versions à jour en continu des LLM connues sous le nom de Chatgpt, Bard / Gemini, Sonnet et Haiku. Cela signifie que la confiance excessive de l'IA était détectable sur différents modèles au fil du temps.

« Lorsqu'une IA dit quelque chose qui semble un peu louche, les utilisateurs peuvent ne pas être aussi sceptiques qu'ils devraient l'être parce que l'IA affirme la réponse avec confiance, même lorsque cette confiance est injustifiée », a déclaré Danny Oppenheimer, professeur au Département des sciences sociales et décision de la CMU et co-auteur de l'étude.

« Les humains ont évolué au fil du temps et pratiqué depuis la naissance pour interpréter les indices de confiance dégagés par d'autres humains. Si mes front sortaient ou que je suis lent à répondre, vous pourriez réaliser que je ne suis pas nécessairement sûr de ce que je dis, mais avec l'IA, nous n'avons pas autant d'indices pour savoir si cela sait de quoi il parle », a déclaré Oppenheimer.

Poser AI les bonnes questions

Bien que la précision des LLM pour répondre aux questions des anecdotes et prédire les résultats du jeu de football soit des enjeux relativement faibles, la recherche laisse entendre les pièges associés à l'intégration de ces technologies dans la vie quotidienne.

Par exemple, une étude récente menée par la BBC a révélé que lorsque les LLM ont posé des questions sur les nouvelles, plus de la moitié des réponses avaient des « problèmes importants », y compris les erreurs factuelles, la mauvaise attribution des sources et le contexte manquant ou trompeur. De même, une autre étude de 2023 a révélé que le LLMS «halluciné» ou a produit des informations incorrectes, dans 69 à 88% des requêtes juridiques.

De toute évidence, la question de savoir si l'IA sait de quoi elle parle n'a jamais été aussi importante. Et la vérité est que les LLM ne sont pas conçues pour répondre à tout ce que les utilisateurs leur lancent quotidiennement.

« Si j'avais demandé » quelle est la population de Londres « , l'IA aurait fouillé le Web, donné une réponse parfaite et donné un étalonnage de confiance parfait », a déclaré Oppenheimer.

Cependant, en posant des questions sur les événements futurs – comme les gagnants des prochains prix de l'Académie – ou des sujets plus subjectifs, tels que l'identité prévue d'une image dessinée à la main, les chercheurs ont pu exposer la faiblesse apparente des chatbots dans la métacognition – c'est-à-dire la capacité d'être conscient de ses propres processus de réflexion.

« Nous ne savons toujours pas exactement comment l'IA estime sa confiance », a déclaré Oppenheimer, « mais il ne semble pas s'engager dans l'introspection, du moins pas habilement. »

L'étude a également révélé que chaque LLM avait des forces et des faiblesses. Dans l'ensemble, le LLM connu sous le nom de Sonnet avait tendance à être moins confiant que ses pairs. De même, ChatGPT-4 a effectué de manière similaire aux participants humains à l'essai de type pictionnaire, identifiant avec précision 12,5 images dessinées à la main sur 20, tandis que les Gémeaux pouvaient identifier seulement 0,93 croquis, en moyenne.

De plus, les Gémeaux ont prédit qu'il obtiendrait une moyenne de 10,03 croquis corrects, et même après avoir répondu correctement à moins d'une question sur 20, le LLM a estimé rétrospectivement qu'il avait répondu correctement 14.40, démontrant son manque de conscience de soi.

« Les Gémeaux étaient tout simplement très mauvais pour jouer au picturé », a déclaré Cash. « Mais pire encore, ça ne savait pas que c'était mauvais à Pictionary. C'est un peu comme cet ami qui jure qu'ils sont super à la piscine mais ne font jamais de chance. »

Continuer la confiance avec l'intelligence artificielle

Pour les utilisateurs de Chatbot de tous les jours, Cash a déclaré que le plus gros point à retenir est de se rappeler que les LLM ne sont pas intrinsèquement correctes et que ce pourrait être une bonne idée de leur demander à quel point ils sont confiants lorsqu'ils répondent à des questions importantes.

Bien sûr, l'étude suggère que les LLM ne peuvent pas toujours être en mesure de juger avec précision la confiance, mais dans le cas où le chatbot reconnaît une faible confiance, c'est un bon signe que sa réponse ne peut pas faire confiance.

Les chercheurs notent qu'il est également possible que les chatbots puissent développer une meilleure compréhension de leurs propres capacités sur des ensembles de données beaucoup plus grands.

« Peut-être que s'il avait des milliers ou des millions d'épreuves, cela ferait mieux », a déclaré Oppenheimer.

En fin de compte, l'exposition des faiblesses telles que la confiance excessive aidera les personnes dans l'industrie qui développent et améliorent les LLM. Et à mesure que l'IA devient plus avancée, il peut développer la métacognition requise pour apprendre de ses erreurs.

« Si les LLM peuvent déterminer récursivement qu'ils avaient tort, cela résout beaucoup de problèmes », a déclaré Cash.

« Je pense qu'il est intéressant que les LLM ne parviennent souvent pas à apprendre de leur propre comportement », a déclaré Cash. « Et peut-être qu'il y a une histoire humaniste à raconter là-bas. Peut-être qu'il y a juste quelque chose de spécial dans la façon dont les humains apprennent et communiquent. »