Explorer les capacités de raisonnement fondamentales des LLM

Le raisonnement, le processus par lequel les êtres humains traitent mentalement des informations pour tirer des conclusions spécifiques ou résoudre des problèmes, peut être divisé en deux grandes catégories. Le premier type de raisonnement, appelé raisonnement déductif, consiste à partir d'une règle ou d'une prémisse générale, puis à utiliser cette règle pour tirer des conclusions sur des cas spécifiques.

Cela pourrait signifier, par exemple, partir du principe que « tous les chiens ont des oreilles » et que « les chihuahuas sont des chiens » pour conclure que « les chihuahuas ont des oreilles ».

La deuxième forme de raisonnement la plus répandue est le raisonnement inductif, qui consiste à généraliser (c'est-à-dire à formuler des règles générales) à partir d'observations spécifiques. Cela peut signifier, par exemple, que tous les cygnes sont blancs parce que tous les cygnes que nous avons rencontrés au cours de notre vie étaient blancs.

De nombreuses études ont déjà été menées sur la manière dont les humains utilisent le raisonnement déductif et inductif dans leur vie quotidienne. Pourtant, la mesure dans laquelle les systèmes d’intelligence artificielle (IA) emploient ces différentes stratégies de raisonnement a jusqu’à présent rarement été explorée.

Une équipe de recherche d'Amazon et de l'Université de Californie à Los Angeles a récemment mené une étude explorant les capacités de raisonnement fondamentales des grands modèles linguistiques (LLM), de grands systèmes d'IA capables de traiter, de générer et d'adapter des textes en langues humaines. Leurs conclusions, publiées sur le site arXiv serveur de préimpression, suggèrent que ces modèles ont de fortes capacités de raisonnement inductif, alors qu'ils présentent souvent un raisonnement déductif médiocre.

L’objectif de l’article était de mieux comprendre les lacunes dans le raisonnement LLM et d’identifier pourquoi les LLM présentent des performances inférieures pour les tâches de raisonnement « contrefactuel » qui s’écartent de la norme.

Plusieurs études antérieures ont évalué les compétences de raisonnement déductif des étudiants en LLM en testant leur capacité à suivre des instructions dans le cadre de tâches de raisonnement de base. Pourtant, leur raisonnement inductif (c'est-à-dire leur capacité à faire des prédictions générales basées sur les informations qu'ils ont traitées dans le passé) n'a pas été examiné de près.

Pour distinguer clairement le raisonnement inductif du raisonnement déductif, les chercheurs ont introduit un nouveau modèle, appelé SolverLearner. Le modèle utilise une approche en deux étapes pour séparer le processus d'apprentissage des règles de celui de leur application à des cas spécifiques. En particulier, les règles sont appliquées via des outils externes, comme des interpréteurs de code, pour éviter de s'appuyer sur la capacité de raisonnement déductif du LLM, selon un porte-parole d'Amazon.

En utilisant le framework SolverLearner qu’ils ont développé, l’équipe d’Amazon a formé les LLM à apprendre des fonctions qui mappent les points de données d’entrée à leurs sorties correspondantes, à l’aide d’exemples spécifiques. Cela leur a permis d’étudier dans quelle mesure les modèles pouvaient apprendre des règles générales en fonction des exemples qui leur étaient fournis.

Les chercheurs ont découvert que les LLM ont une capacité de raisonnement inductif plus forte que celle déductive, en particulier pour les tâches impliquant des scénarios « contrefactuels » qui s’écartent de la norme. Ces résultats peuvent aider les gens à mieux comprendre quand et comment utiliser les LLM. Par exemple, lors de la conception de systèmes d’agents, comme les chatbots, il peut être préférable de tirer parti des fortes capacités inductives des LLM.

Dans l’ensemble, les chercheurs ont constaté que les titulaires d’un LLM obtenaient des résultats remarquables dans les tâches de raisonnement inductif, mais qu’ils manquaient souvent de capacités de raisonnement déductif. Leur raisonnement déductif semblait particulièrement médiocre dans les scénarios basés sur des hypothèses ou déviant de la norme.

Les résultats recueillis dans le cadre de cette étude pourraient inciter les développeurs d’IA à exploiter les solides capacités de raisonnement inductif des titulaires de LLM pour s’attaquer à des tâches spécifiques. En outre, ils pourraient ouvrir la voie à de nouveaux efforts visant à comprendre les processus de raisonnement des titulaires de LLM.

Selon un porte-parole d'Amazon, les recherches futures dans ce domaine pourraient se concentrer sur l'exploration de la relation entre la capacité d'un LLM à compresser l'information et ses fortes capacités inductives. Cette perspective pourrait encore améliorer les capacités de raisonnement inductif du LLM.