Un cadre pour détecter les hallucinations dans le texte généré par les LLM

Les grands modèles linguistiques (LLM) sont des systèmes de dialogue avancés basés sur l'IA qui peuvent répondre aux requêtes des utilisateurs et générer des textes convaincants suivant des instructions humaines. Après l’avènement de ChatGPT, le modèle très performant développé par OpenAI, ces modèles sont devenus de plus en plus populaires et de plus en plus d’entreprises investissent désormais dans leur développement.

Malgré leur promesse de répondre aux questions humaines en temps réel et de créer des textes à des fins spécifiques, les LLM peuvent parfois générer des textes absurdes, inexacts ou non pertinents qui s'écartent des invites qui leur ont été transmises par les utilisateurs humains. Ce phénomène, souvent lié aux limitations des données utilisées pour entraîner les modèles ou à des erreurs dans leur raisonnement sous-jacent, est appelé LLM. « hallucinations. »

Des chercheurs de l'Université de l'Illinois à Urbana-Champaign ont récemment introduit KnowHalu, un cadre permettant de détecter les hallucinations dans le texte généré par les LLM. Ce cadre, présenté dans un article publié sur le serveur de préimpression arXivpourrait contribuer à améliorer la fiabilité de ces modèles et à simplifier leur utilisation pour accomplir diverses tâches de génération de texte.

« À mesure que les progrès des LLM se poursuivent, les hallucinations apparaissent comme un obstacle critique entravant leur application plus large dans le monde réel. » Bo Li, conseiller du projet, a déclaré à Tech Xplore. « Bien que de nombreuses études aient porté sur les hallucinations LLM, les méthodes existantes ne parviennent souvent pas à exploiter efficacement les connaissances du monde réel ou à les utiliser de manière inefficace.

« Motivés par cette lacune, nous avons développé un nouveau cadre de détection des hallucinations multiforme basé sur la connaissance pour les LLM. De plus, nous avons identifié une lacune dans les recherches actuelles concernant les hallucinations non fabriquées : des réponses factuellement correctes mais non pertinentes ou non spécifiques à la requête. »

Lorsqu'ils ont examiné la littérature antérieure, Li et ses collaborateurs ont découvert que de nombreuses approches antérieures visant à détecter les hallucinations LLM se concentraient sur la génération de textes absurdes, plutôt que sur des textes factuellement précis qui ne correspondent pas aux invites des utilisateurs. Le nouveau cadre qu'ils ont développé comprend donc également un composant dédié conçu pour détecter ces types d'hallucinations précises mais non pertinentes.

« KnowHalu est un nouveau cadre conçu pour détecter les hallucinations dans les réponses générées par les LLM, » Li a expliqué. « Il fonctionne en utilisant un processus en deux phases qui implique plusieurs composants pour garantir l'exactitude et la pertinence des résultats du LLM. La première phase se concentre sur la détection des hallucinations non fabriquées, qui sont des réponses qui peuvent être factuellement correctes mais qui ne sont pas pertinentes ou non spécifiques à la question en question, et une telle détection est largement absente dans la littérature actuelle. »

Au cours de la deuxième phase de son fonctionnement, KnowHalu utilise un processus de vérification des faits multiforme basé sur la connaissance qui s'étend sur cinq étapes. Ces étapes sont : le raisonnement et l'interrogation par étapes, la récupération des connaissances, l'optimisation des connaissances, le jugement basé sur des connaissances multiformes et l'agrégation des jugements.

« Ce processus complet aide à identifier les informations non fondées ou non pertinentes fournies par les LLM, ce qui rend KnowHalu particulièrement efficace dans différentes applications, telles que les tâches d'assurance qualité et de synthèse, » » dit Li.

KnowHalu présente plusieurs caractéristiques et avantages uniques par rapport aux autres approches de détection des hallucinations LLM. Plus particulièrement, il peut également détecter des hallucinations non fabriquées, évaluer différents types de requêtes et utiliser un nouveau processus de vérification des faits multiforme basé sur la connaissance.

Li et ses étudiants ont testé leur cadre dans une série de tests et ont constaté qu'il surpassait diverses autres méthodes de base et outils de détection des hallucinations LLM. Grâce à KnowHalu, les chercheurs ont également rassemblé des informations intéressantes sur les hallucinations dans les modèles LLM.

Premièrement, ils ont constaté que différentes invites et différents modèles permettaient d’obtenir de meilleurs résultats sur certains types de connaissances. Par exemple, le modèle Starling-7B excelle lorsqu’il dispose de connaissances non structurées, tandis que GPT-3.5 est plus efficace avec des connaissances structurées.

« Notre RAG multiforme basé sur la connaissance surpasse considérablement le RAG standard, proposé pour la première fois, » » dit Li. « De plus, nous avons constaté que les modèles publiés ultérieurement ont une plus grande capacité à utiliser des données structurées, soulignant l'importance de notre algorithme de connaissances multiformes.

« KnowHalu surpasse considérablement les différentes lignes de base SOTA et fonctionne même bien mieux que d'inviter directement GPT-4 à effectuer une détection d'hallucinations, ce qui démontre son efficacité et la possibilité de détection et d'atténuation des hallucinations. »

Les résultats recueillis par Li et ses collaborateurs démontrent également que la formulation des requêtes des utilisateurs visant à la récupération d'informations a un impact significatif sur la qualité des réponses produites par les LLM.

Plus précisément, si les utilisateurs recherchent des réponses spéculatives ou vagues, il serait conseillé de formuler des questions générales, mais s'ils recherchent des réponses plus spécifiques, ils devraient proposer des invites plus détaillées mettant en évidence le type d'informations qu'ils recherchent en utilisant ce qu'on appelle « identifiants. » Ces identifiants sont généralement également présents dans la base de données sur laquelle s'appuient les modèles, il leur sera donc plus facile de récupérer des informations précises.

À l’avenir, KnowHalu pourrait contribuer au développement de LLM plus performants qui n’hallucineront pas aussi souvent et généreront des réponses plus fiables. En outre, le nouveau cadre pourrait inspirer d’autres équipes de recherche à concevoir des approches permettant de s’attaquer à un plus large éventail d’hallucinations LLM.

« Nous prévoyons maintenant d'analyser automatiquement différents documents et d'extraire des connaissances pour aider à atténuer les hallucinations des LLM, d'explorer diverses formes de connaissances et de mapper les connaissances récupérées à d'autres formes telles que des formes logiques d'ordre supérieur pour aider à ancrer la génération de modèles. » Li a ajouté.

« De plus, nous essaierons de fournir des garanties théoriques pour les hallucinations LLM sur la base de bases de connaissances données et d'adapter notre cadre à divers domaines d'application tels que les agents de conduite autonome et les agents de soins de santé. »