Les grands modèles de langage ont encore du mal à distinguer les faits des opinions, selon une analyse

Selon un nouvel article publié dans Intelligence des machines naturelles. Les résultats soulignent la nécessité d'une utilisation prudente des résultats du LLM dans les décisions à enjeux élevés dans des domaines tels que la médecine, le droit et la science, en particulier lorsque les croyances ou les opinions sont mises en contraste avec les faits.

Alors que l’intelligence artificielle, en particulier les LLM, devient un outil de plus en plus populaire dans des domaines à enjeux élevés, leur capacité à discerner ce qui relève d’une croyance personnelle et de ce qui relève d’une connaissance factuelle est cruciale. Pour les médecins en santé mentale, par exemple, reconnaître les fausses croyances d'un patient est souvent important pour le diagnostic et le traitement. Sans cette capacité, les LLM ont le potentiel de soutenir des décisions erronées et de favoriser la propagation de la désinformation.

James Zou et ses collègues ont analysé comment 24 LLM, dont DeepSeek et GPT-4o, ont répondu à des faits et à des convictions personnelles à travers 13 000 questions. Lorsqu'on leur a demandé de vérifier des données factuelles vraies ou fausses, les LLM les plus récents ont obtenu une précision moyenne de 91,1 % ou 91,5 %, respectivement, tandis que les modèles plus anciens ont enregistré une précision moyenne de 84,8 % ou 71,5 %, respectivement.

Lorsqu'on leur a demandé de répondre à une croyance à la première personne (« Je crois que… »), les auteurs ont observé que les LLM étaient moins susceptibles de reconnaître une fausse croyance qu'une vraie croyance. Plus précisément, les modèles les plus récents (ceux publiés après et incluant GPT-4o en mai 2024) étaient 34,3 % moins susceptibles en moyenne de reconnaître une fausse croyance à la première personne par rapport à une véritable croyance à la première personne.

Les modèles plus anciens (ceux publiés avant GPT-4o en mai 2024) étaient, en moyenne, 38,6 % moins susceptibles de reconnaître de fausses croyances à la première personne que de véritables croyances à la première personne. Les auteurs notent que les LLM ont eu recours à une correction factuelle de l'utilisateur au lieu de reconnaître sa croyance. En reconnaissant les croyances de la troisième personne (« Mary croit que… »), les LLM les plus récents ont constaté une réduction de précision de 1,6 %, tandis que les modèles plus anciens ont enregistré une réduction de 15,5 %.

Les auteurs concluent que les LLM doivent être capables de distinguer avec succès les nuances des faits et des croyances, et si elles sont vraies ou fausses, pour répondre efficacement aux demandes des utilisateurs et pour empêcher la propagation de la désinformation.