L’ajout d’une formulation d’incertitude peut aider

À mesure que les outils d’IA comme ChatGPT deviennent de plus en plus courants dans les tâches quotidiennes et les processus décisionnels, la capacité de faire confiance et de déchiffrer les erreurs dans leurs réponses est essentielle. Une nouvelle étude menée par des spécialistes des sciences cognitives et informatiques de l’Université de Californie à Irvine révèle que les gens surestiment généralement la précision des résultats des grands modèles de langage (LLM).

Mais avec quelques ajustements, explique l’auteur principal Mark Steyvers, professeur de sciences cognitives et directeur du département, ces outils peuvent être entraînés à fournir des explications permettant aux utilisateurs d’évaluer l’incertitude et de mieux distinguer les faits de la fiction.

« Il y a un décalage entre ce que savent les LLM et ce que les gens pensent savoir », a déclaré Steyvers. « Nous appelons cela l’écart d’étalonnage. En même temps, il existe également un écart de discrimination : la capacité des humains et des modèles à distinguer les réponses correctes et incorrectes. Notre étude examine comment nous pouvons réduire ces écarts. »

Les résultats, publiés en ligne dans Intelligence des machines naturellessont parmi les premiers à explorer la manière dont les LLM communiquent l’incertitude. L’équipe de recherche comprenait Heliodoro Tejeda, Xinyue Hu et Lukas Mayer, étudiants diplômés en sciences cognitives ; Aakriti Kumar, ’24 Ph.D. ; et Sheer Karny, spécialiste junior. Ils ont été rejoints par Catarina Belem, étudiante diplômée, et Padhraic Smyth, professeur émérite et directeur de la Data Science Initiative en informatique.

Actuellement, les LLM, y compris ChatGPT, ne fournissent pas automatiquement dans les réponses un langage indiquant le niveau de confiance de l’outil dans son exactitude. Cela peut induire les utilisateurs en erreur, explique Steyvers, car les réponses peuvent souvent sembler erronées.

Dans cet esprit, les chercheurs ont créé un ensemble d’expériences en ligne pour fournir un aperçu de la perception humaine et LLM des réponses assistées par l’IA. Ils ont recruté 301 participants anglophones aux États-Unis, dont 284 ont fourni des données démographiques, ce qui donne une répartition de 51 % de femmes, 49 % d’hommes et un âge médian de 34 ans.

Les participants se sont vu attribuer au hasard des ensembles de 40 questions à choix multiples et à réponse courte provenant de l’ensemble de données Massive Multitask Language Understanding, une banque de questions complète allant du niveau secondaire au niveau professionnel, couvrant des sujets dans les domaines STEM, sciences humaines, sciences sociales et autres domaines.

Pour la première expérience, les participants ont reçu des réponses par défaut générées par LLM à chaque question, et ils ont dû décider de la probabilité que les réponses soient correctes. L’équipe de recherche a constaté que les participants surestimaient systématiquement la fiabilité des résultats du LLM ; les explications standard ne leur permettaient pas de juger de la probabilité d’exactitude, conduisant à un désalignement entre la perception et la réalité de l’exactitude du LLM.

« Cette tendance à une confiance excessive dans les capacités du LLM est une préoccupation majeure, en particulier dans les scénarios où les décisions critiques reposent sur les informations générées par le LLM », a-t-il déclaré. « L’incapacité des utilisateurs à discerner la fiabilité des réponses LLM compromet non seulement l’utilité de ces modèles, mais présente également des risques dans les situations où la compréhension par l’utilisateur de la précision du modèle est essentielle. »

L’expérience suivante a utilisé le même format de réponse de 40 questions/LLM fourni par le LLM, mais au lieu d’une réponse unique et par défaut du LLM à chaque question, l’équipe de recherche a manipulé les invites de sorte que chaque choix de réponse inclue un langage d’incertitude lié au système interne du LLM. confiance.

La formulation indiquait le niveau de confiance du LLM en matière d’exactitude : faible (« Je ne suis pas sûr que la réponse soit A »), moyen (« Je suis quelque peu sûr que la réponse est A ») et élevé (« Je suis sûr que la réponse est A »). – accompagné d’explications de différentes longueurs.

Les chercheurs ont découvert que le fait de fournir un langage d’incertitude influençait fortement la confiance humaine. Les explications LLM à faible confiance correspondaient à une confiance humaine significativement plus faible dans l’exactitude par rapport à celles marquées par le LLM comme moyenne, avec une tendance similaire émergeant pour les explications à confiance moyenne ou élevée.

De plus, la longueur des explications affectait également la confiance humaine dans les réponses du LLM. Les participants avaient davantage confiance dans les explications plus longues que dans les explications plus courtes, même lorsque la longueur supplémentaire n’améliorait pas la précision des réponses.

Pris ensemble, les résultats soulignent l’importance de la communication sur l’incertitude et l’effet de la longueur des explications pour influencer la confiance des utilisateurs dans les environnements de prise de décision assistés par l’IA, a déclaré Steyvers.

« En modifiant le langage des réponses LLM pour mieux refléter la confiance du modèle, les utilisateurs peuvent améliorer le calibrage de leur évaluation de la fiabilité des LLM et sont mieux à même de faire la distinction entre les réponses correctes et incorrectes », a-t-il déclaré. « Cela met en évidence la nécessité d’une communication transparente de la part des LLM, ce qui suggère la nécessité de recherches supplémentaires sur la manière dont les explications des modèles affectent la perception des utilisateurs. »