Utiliser des idées de la théorie des jeux pour améliorer la fiabilité des modèles de langage
Imaginez que vous et un ami jouez à un jeu dans lequel votre objectif est de vous communiquer des messages secrets en utilisant uniquement des phrases énigmatiques. Le travail de votre ami consiste à deviner le message secret qui se cache derrière vos phrases. Parfois, vous donnez des indices directement, et d'autres fois, votre ami doit deviner le message en posant des questions par oui ou par non sur les indices que vous avez donnés. Le défi est que vous voulez tous les deux vous assurer que vous vous comprenez bien et que vous êtes d'accord sur le message secret.
Les chercheurs du Laboratoire d'informatique et d'intelligence artificielle du MIT (CSAIL) ont créé un « jeu » similaire pour aider à améliorer la façon dont l'IA comprend et génère du texte. Il est connu sous le nom de « jeu de consensus » et implique deux parties d'un système d'IA : une partie essaie de générer des phrases (comme donner des indices), et l'autre partie essaie de comprendre et d'évaluer ces phrases (comme deviner le message secret).
Les chercheurs ont découvert qu'en traitant cette interaction comme un jeu, dans lequel les deux parties de l'IA travaillent ensemble selon des règles spécifiques pour s'entendre sur le bon message, ils pourraient améliorer considérablement la capacité de l'IA à donner des réponses correctes et cohérentes aux questions.
Ils ont testé cette nouvelle approche ludique sur diverses tâches, telles que la compréhension en lecture, la résolution de problèmes mathématiques et la conduite de conversations, et ont constaté qu'elle aidait l'IA à mieux fonctionner dans tous les domaines. Leur article est publié sur le arXiv serveur de préimpression.
Traditionnellement, les grands modèles de langage répondent de deux manières : générer des réponses directement à partir du modèle (requête générative) ou utiliser le modèle pour évaluer un ensemble de réponses prédéfinies (requête discriminante), ce qui peut conduire à des résultats différents et parfois incompatibles.
Avec l'approche générative : « Qui est le président des États-Unis ? » pourrait donner une réponse simple comme « Joe Biden ». Cependant, une requête discriminante pourrait contester ce fait à tort en évaluant la même réponse, comme « Barack Obama ».
Alors, comment concilier des procédures de notation mutuellement incompatibles pour obtenir des prédictions cohérentes et efficaces ?
« Imaginez une nouvelle façon d'aider les modèles de langage à comprendre et à générer du texte, comme un jeu. Nous avons développé une méthode de théorie des jeux sans formation qui traite l'ensemble du processus comme un jeu complexe d'indices et de signaux, dans lequel un générateur tente de envoyer le bon message à un discriminateur en utilisant le langage naturel, au lieu de pièces d'échecs, ils utilisent des mots et des phrases », explique Athul Jacob, doctorant au MIT. étudiant en génie électrique et informatique et affilié au CSAIL.
« Notre façon de naviguer dans ce jeu consiste à trouver les « équilibres approximatifs », ce qui conduit à un nouvel algorithme de décodage appelé « classement d'équilibre ». C'est une démonstration assez passionnante de la manière dont l'intégration de stratégies de théorie des jeux peut relever certains défis majeurs consistant à rendre les modèles de langage plus fiables et plus cohérents.
Lorsqu’il a été testé sur de nombreuses tâches, telles que la compréhension écrite, le raisonnement de bon sens, la résolution de problèmes mathématiques et le dialogue, l’algorithme de l’équipe a constamment amélioré les performances de ces modèles. L’utilisation de l’algorithme ER avec le modèle LLaMA-7B a même surpassé les résultats de modèles beaucoup plus grands.
« Étant donné qu'ils sont déjà compétitifs, que les gens y travaillent depuis un certain temps, mais le niveau d'améliorations que nous avons constaté, capable de surpasser un modèle 10 fois plus grand, a été une agréable surprise », explique Jacob.
Jeu activé
« Diplomacy », un jeu de société stratégique se déroulant dans l'Europe d'avant la Première Guerre mondiale, dans lequel les joueurs négocient des alliances, trahissent leurs amis et conquièrent des territoires sans utiliser de dés – en s'appuyant uniquement sur leurs compétences, leur stratégie et leur manipulation interpersonnelle – a récemment connu une seconde venue. .
En novembre 2022, des informaticiens, dont Jacob, ont développé « Cicéron », un agent d'IA qui atteint des capacités de niveau humain dans le jeu à sept joueurs à motifs mixtes, qui nécessite les mêmes compétences susmentionnées, mais avec un langage naturel. Les calculs derrière cela ont en partie inspiré le jeu du consensus.
Bien que l'histoire des agents d'IA soit bien antérieure à l'entrée du logiciel OpenAI dans le chat en novembre 2022, il est bien établi qu'ils peuvent toujours se faire passer pour des amis bien intentionnés, mais pathologiques.
Le système de jeu par consensus atteint l'équilibre sous la forme d'un accord, garantissant l'exactitude et la fidélité aux idées originales du modèle. Pour y parvenir, la méthode ajuste de manière itérative les interactions entre les composants génératifs et discriminatifs jusqu'à ce qu'ils parviennent à un consensus sur une réponse qui reflète fidèlement la réalité et s'aligne sur leurs croyances initiales. Cette approche comble efficacement le fossé entre les deux méthodes d’interrogation.
En pratique, la mise en œuvre de l’approche du jeu de consensus pour l’interrogation de modèles de langage, en particulier pour les tâches de réponse aux questions, implique des défis informatiques importants. Par exemple, lorsque vous utilisez des ensembles de données comme MMLU, qui contiennent des milliers de questions et de réponses à choix multiples, le modèle doit appliquer le mécanisme à chaque requête. Ensuite, il doit parvenir à un consensus entre les composantes générative et discriminative pour chaque question et ses réponses possibles.
Le système a eu du mal avec un droit de passage à l'école primaire : les problèmes de mots mathématiques. Cela ne pourrait pas générer de mauvaises réponses, ce qui est un élément essentiel pour comprendre le processus permettant de trouver la bonne réponse.
« Ces dernières années ont été marquées par des progrès vraiment impressionnants, tant dans la prise de décision stratégique que dans la génération de langages à partir des systèmes d'IA, mais nous commençons tout juste à comprendre comment combiner les deux. Le classement d'équilibre est un premier pas dans cette direction, mais Je pense que nous pourrons faire beaucoup de choses pour étendre cela à des problèmes plus complexes », déclare Jacob.
Une piste de travail futur consiste à améliorer le modèle de base en intégrant les résultats de la méthode actuelle. Ceci est particulièrement prometteur car cela peut produire des réponses plus factuelles et cohérentes dans diverses tâches, y compris la factualité et la génération ouverte. Le potentiel d'une telle méthode pour améliorer considérablement les performances du modèle de base est élevé, ce qui pourrait donner lieu à des résultats plus fiables et factuels de ChatGPT et de modèles de langage similaires que les gens utilisent quotidiennement.
« Même si les modèles de langage modernes, tels que ChatGPT et Gemini, ont permis de résoudre diverses tâches via des interfaces de chat, le processus de décodage statistique qui génère une réponse à partir de tels modèles est resté inchangé depuis des décennies », explique Ahmad Beirami, chercheur chez Google. pas impliqué dans les travaux.
« La proposition des chercheurs du MIT est un cadre innovant de théorie des jeux pour décoder des modèles de langage en résolvant l'équilibre d'un jeu de consensus. Les gains de performances significatifs rapportés dans le document de recherche sont prometteurs, ouvrant la porte à un changement de paradigme potentiel dans le langage. décodage de modèles qui pourrait alimenter une vague de nouvelles applications. »
