La nouvelle recherche révèle que l'IA a un problème de confiance

Selon une nouvelle étude, des modèles de grandes langues (LLM) perdent en confiance lorsqu'ils répondent aux questions et abandonnent les réponses correctes, selon une nouvelle étude de chercheurs de Google Deepmind et de l'University College de Londres.

Les LLM sont de puissants systèmes d'IA qui comprennent et génèrent le langage humain. Ils sont utilisés dans une gamme d'industries, telles que les finances, les soins de santé et les technologies de l'information, pour les tâches qui exigent le raisonnement et la prise de décision. Par conséquent, leur précision et leur fiabilité sont primordiales, ce qui signifie qu'ils doivent toujours avoir confiance en leurs réponses. Cependant, ils peuvent vaciller.

Pour que les LLM sont déployés en toute sécurité, leurs réponses s'accompagnent de scores de confiance. Mais il n'est pas clair comment ils les utilisent pour guider leur comportement.

Cette recherche, publiée sur le arxiv Preprint Server, montre qu'ils peuvent être trop confiants dans leurs réponses initiales, mais perdent confiance et changer d'avis lorsqu'ils sont présentés avec un contre-argument incorrect.

Tester la confiance LLM

Pour enquêter sur ce paradoxe apparent, les chercheurs ont testé comment les LLM mettent à jour leur confiance et décident de modifier leur réponse lorsqu'ils sont présentés avec des conseils externes.

Premièrement, un « LLM de réponse » a reçu une question de choix binaire. Après avoir répondu, il a reçu des conseils d'un deuxième LLM, accompagné d'une cote de précision. Ce « conseil LLM » serait également d'accord avec, s'opposer ou être neutre au sujet de la première réponse de la réponse de LLM. Ensuite, la réponse LLM a été invitée à faire un choix final. Les chercheurs ont également varié si le LLM pouvait voir sa première réponse lors de sa décision finale.

Résultats

L'étude a révélé que les LLM sont plus susceptibles de s'en tenir à leur réponse initiale et de ne pas changer lorsqu'elle est visible que lorsqu'elle est cachée. En d'autres termes, ils deviennent plus confiants. L'étude a également montré que lorsque les modèles reçoivent des conseils opposés, ils perdent souvent confiance et changent leur décision. Ils le font beaucoup plus facilement que lorsque les conseils sont favorables. Ces modèles ont été observés dans plusieurs LLM différents, comme Gemma 3, GPT4O et O1-Preview.

« Nos résultats démontrent que les LLM s'écartent du comportement normatif de plusieurs manières significatives: premièrement, ils présentent un biais de choix de choix frappant qui renforce leur confiance dans leur réponse, et les fait s'y tenir, même en présence de preuves du contraire », ont déclaré les chercheurs.

« Deuxièmement, nous montrons que si les LLM intègrent de nouvelles informations dans leurs croyances, ils le font d'une manière qui n'est pas optimale: ils montrent un profil de mises à jour de confiance qui s'écarte d'un observateur idéal et de manière nettement surpondérée des conseils, entraînant une perte de confiance marquée dans leur réponse initiale. »

Construire une meilleure IA

Tout cela est important parce que de nombreuses industries dépendent de plus en plus des LLM. Cependant, cette recherche montre que ce ne sont pas des machines purement logiques. Ils ont leur propre ensemble de biais et peuvent être influencés. Par conséquent, dans de longues conversations entre un agent humain et un agent d'IA, les informations les plus récentes pourraient avoir un impact disproportionné sur sa réponse.

La compréhension de cette prise de décision et d'autres nuances de la prise de décision LLM peut aider à la conception de systèmes d'IA meilleurs, plus sûrs et plus fiables.