Une méthode pour atténuer les hallucinations dans les grands modèles de langage

Les grands modèles de langage (LLM), architectures basées sur des réseaux de neurones artificiels capables de traiter, générer et manipuler des textes dans diverses langues humaines, sont récemment devenus de plus en plus répandus. Ces modèles sont désormais utilisés dans un large éventail de contextes, pour trouver rapidement des réponses à des requêtes, produire du contenu à des fins spécifiques et interpréter des textes complexes.

Bien que les LLM récemment introduits puissent générer des textes très convaincants, qui sont dans certains cas difficiles à distinguer des écrits produits par des humains, ils se sont révélés sujets à ce qu'on appelle des hallucinations. Dans ce contexte, les hallucinations font référence à un LLM générant des réponses totalement incohérentes, inexactes ou inappropriées.

Les chercheurs de DeepMind ont récemment développé une nouvelle procédure qui pourrait aider à identifier les cas dans lesquels les LLM devraient s'abstenir de répondre à une requête, par exemple en répondant « Je ne sais pas », car ils sont susceptibles d'halluciner des réponses insensées ou incorrectes. L'approche proposée par l'équipe, décrite dans un article pré-publié sur arXivimplique l’utilisation de LLM pour évaluer leurs propres réponses potentielles.

« En nous appuyant sur des approches antérieures qui utilisent l'auto-cohérence comme mesure plus fiable de la confiance du modèle, nous proposons d'utiliser le LLM lui-même pour auto-évaluer la similarité entre chacune de ses réponses échantillonnées pour une requête donnée », Yasin Abbasi Yadkori, Ilja Kuzborskij et » ont écrit leurs collègues dans leur journal. « Nous exploitons ensuite davantage les techniques de prédiction conforme pour développer une procédure d'abstention bénéficiant de garanties théoriques rigoureuses sur le taux d'hallucinations (taux d'erreur). »

Yadkori, Kuzborskij et leurs collègues ont évalué la méthode proposée pour atténuer les hallucinations LLM dans une série d'expériences, en utilisant Temporal Sequences et TriviaQA, deux ensembles de données accessibles au public contenant des requêtes et des réponses associées. Ils ont spécifiquement appliqué la méthode proposée à Gemini Pro, un LLM développé chez Google et sorti en 2023.

« Expérimentalement, notre méthode d'abstention conforme qui en résulte limite de manière fiable le taux d'hallucinations sur divers ensembles de données de réponses génératives à livre fermé et à domaine ouvert, tout en maintenant un taux d'abstention nettement moins conservateur sur un ensemble de données avec de longues réponses (séquences temporelles) par rapport aux lignes de base utilisant log-probabilité pour quantifier l'incertitude, tout en obtenant des performances comparables sur un ensemble de données avec des réponses courtes (TriviaQA) », ont écrit les chercheurs.

« Pour évaluer automatiquement les expériences, il faut déterminer si deux réponses sont équivalentes à une question donnée. Conformément à la pratique standard, nous utilisons une fonction de similarité à seuil pour déterminer si deux réponses correspondent, mais nous fournissons également une méthode pour calibrer le seuil basé sur une prédiction conforme. , avec des garanties théoriques sur l'exactitude du pronostic du match, qui pourraient présenter un intérêt indépendant.

Les résultats des expériences de cette équipe de recherche suggèrent que leur procédure d'étalonnage conforme et de notation de similarité atténue les hallucinations LLM, permettant à un modèle de s'abstenir de répondre à une question si sa réponse est susceptible d'être absurde ou peu fiable. L’approche nouvellement proposée s’est avérée plus performante que les simples procédures de notation de base.

Cette étude récente de Deep Mind pourrait bientôt éclairer le développement de procédures similaires pour améliorer la fiabilité des LLM et les empêcher d’halluciner. Collectivement, ces efforts contribueront à l’avancement de ces modèles, facilitant leur utilisation généralisée parmi les professionnels du monde entier.