Un nouvel algorithme permet d'améliorer la collaboration LLM pour des solutions plus intelligentes et plus efficaces

Vous est-il déjà arrivé de vous faire poser une question à laquelle vous ne connaissiez qu'une partie de la réponse ? Pour donner une réponse plus éclairée, la meilleure solution serait d'appeler un ami plus compétent sur le sujet.

Ce processus collaboratif peut également aider les grands modèles linguistiques (LLM) à améliorer leur précision. Pourtant, il est difficile d'apprendre aux LLM à reconnaître quand ils doivent collaborer avec un autre modèle pour obtenir une réponse. Au lieu d'utiliser des formules complexes ou de grandes quantités de données étiquetées pour préciser où les modèles doivent fonctionner ensemble, les chercheurs du Computer Science and Artificial Intelligence Laboratory (CSAIL) du MIT ont imaginé une approche plus organique.

Leur nouvel algorithme, appelé « Co-LLM, » peut associer un LLM de base à usage général à un modèle plus spécialisé et les aider à travailler ensemble. Alors que le premier élabore une réponse, Co-LLM examine chaque mot (ou jeton) dans sa réponse pour voir où il peut faire appel à une réponse plus précise du modèle expert. Ce processus conduit à des réponses plus précises à des choses comme des questions médicales et des problèmes de mathématiques et de raisonnement. Étant donné que le modèle expert n'est pas nécessaire à chaque itération, cela conduit également à une génération de réponses plus efficace.

Pour décider quand un modèle de base a besoin de l'aide d'un modèle expert, le framework utilise l'apprentissage automatique pour former un « changer de variable, » ou un outil qui permet d'indiquer la compétence de chaque mot dans les réponses des deux LLM. Le changement fonctionne comme un chef de projet, trouvant les domaines dans lesquels il doit faire appel à un spécialiste.

Si vous demandez à Co-LLM de citer quelques exemples d'espèces d'ours disparues, par exemple, deux modèles élaboreront ensemble des réponses. Le LLM à usage général commence à élaborer une réponse, la variable switch intervenant aux endroits où elle peut insérer un meilleur jeton du modèle expert, comme l'ajout de l'année d'extinction de l'espèce d'ours.

« Avec Co-LLM, nous formons essentiellement un LLM à usage général pour « téléphoner » à un modèle expert en cas de besoin, » déclare Shannon Shen, doctorante en génie électrique et informatique au MIT et affiliée au CSAIL, qui est l'auteure principale d'un nouvel article sur cette approche. Les résultats sont publiés sur le site arXiv serveur de préimpression.

« Nous utilisons des données spécifiques au domaine pour enseigner au modèle de base l'expertise de son homologue dans des domaines tels que les tâches biomédicales et les questions de mathématiques et de raisonnement. Ce processus trouve automatiquement les parties des données que le modèle de base a du mal à générer, puis il demande au modèle de base de passer au LLM expert, qui a été pré-entraîné sur des données d'un domaine similaire. Le modèle à usage général fournit la génération de « l'échafaudage » et, lorsqu'il fait appel au LLM spécialisé, il invite l'expert à générer les jetons souhaités. Nos résultats indiquent que les LLM apprennent les modèles de collaboration de manière organique, de la même manière que les humains reconnaissent quand faire appel à un expert pour combler les lacunes. »

Une combinaison de flexibilité et de factualité

Imaginez que vous demandiez à un LLM polyvalent de nommer les ingrédients d’un médicament sur ordonnance spécifique. Il pourrait répondre de manière incorrecte, ce qui nécessiterait l’expertise d’un modèle spécialisé.

Pour démontrer la flexibilité de Co-LLM, les chercheurs ont utilisé des données telles que l'ensemble médical BioASQ pour coupler un LLM de base avec des LLM experts dans différents domaines, comme le modèle Meditron, qui est pré-entraîné sur des données médicales non étiquetées. Cela a permis à l'algorithme d'aider à répondre aux questions qu'un expert biomédical recevrait généralement, comme nommer les mécanismes à l'origine d'une maladie particulière.

Par exemple, si vous demandez à un LLM simple de nommer seul les ingrédients d'un médicament sur ordonnance spécifique, il peut vous donner une réponse incorrecte. Avec l'expertise supplémentaire d'un modèle spécialisé dans les données biomédicales, vous obtiendrez une réponse plus précise. Co-LLM indique également aux utilisateurs où vérifier les réponses.

Un autre exemple de l'amélioration des performances du Co-LLM : lorsqu'il est chargé de résoudre un problème mathématique comme « un³ · un² si a=5, » le modèle à usage général a calculé de manière incorrecte que la réponse était de 125. Alors que Co-LLM entraînait le modèle à collaborer davantage avec un grand LLM de mathématiques appelé Llemma, ils ont déterminé ensemble que la bonne solution était 3 125.

Le co-LLM a donné des réponses plus précises que les LLM simples et affinés et les modèles spécialisés non affinés fonctionnant indépendamment. Le co-LLM peut guider deux modèles qui ont été formés différemment pour travailler ensemble, alors que d'autres approches de collaboration LLM efficaces, telles que « Réglage du proxy, » nécessitent que tous leurs modèles composants soient formés de manière similaire. De plus, cette base de référence nécessite que chaque modèle soit utilisé simultanément pour produire la réponse, alors que l'algorithme du MIT active simplement son modèle expert pour des jetons particuliers, ce qui conduit à une génération plus efficace.

Quand demander l’avis d’un expert

L'algorithme des chercheurs du MIT montre que l'imitation plus précise du travail d'équipe humain peut augmenter la précision de la collaboration entre plusieurs LLM. Pour améliorer encore la précision factuelle, l'équipe pourrait s'appuyer sur l'autocorrection humaine : ils envisagent une approche de report plus robuste qui peut revenir en arrière lorsque le modèle expert ne donne pas de réponse correcte. Cette mise à niveau permettrait à Co-LLM de corriger le cap afin que l'algorithme puisse toujours donner une réponse satisfaisante.

L'équipe souhaite également mettre à jour le modèle expert (en entraînant uniquement le modèle de base) lorsque de nouvelles informations sont disponibles, en gardant les réponses aussi actuelles que possible. Cela permettrait à Co-LLM d'associer les informations les plus récentes à une forte puissance de raisonnement. À terme, le modèle pourrait aider à la gestion des documents d'entreprise, en utilisant les informations les plus récentes dont il dispose pour les mettre à jour en conséquence. Co-LLM pourrait également entraîner de petits modèles privés à fonctionner avec un LLM plus puissant pour améliorer les documents qui doivent rester sur le serveur.

« Co-LLM présente une approche intéressante pour apprendre à choisir entre deux modèles pour améliorer l'efficacité et la performance, » explique Colin Raffel, professeur associé à l'Université de Toronto et directeur de recherche associé au Vector Institute, qui n'a pas participé à la recherche.

« Les décisions de routage étant prises au niveau du jeton, Co-LLM offre un moyen granulaire de reporter les étapes de génération difficiles à un modèle plus puissant. La combinaison unique de routage au niveau du modèle et du jeton offre également une grande flexibilité qui manque aux méthodes similaires. Co-LLM contribue à un important axe de travail qui vise à développer des écosystèmes de modèles spécialisés pour surpasser les systèmes d'IA monolithiques coûteux. »