Google présente Minerva, une IA capable de résoudre pas à pas des problèmes mathématiques

Ces dernières années, nous avons assisté à des avancées impressionnantes dans le monde de l’intelligence artificielle et, en particulier, dans le domaine du traitement du langage naturel. GPT-3 en est le meilleur exemple, mais BERT aussi. Le « problème » est que, alors que ces modèles brillent dans les tâches en langage naturel, Ils sont à la traîne dans le raisonnement quantitatif. En mathématiques, par exemple.

Résoudre des questions mathématiques et scientifiques ne consiste pas seulement à traiter le langage, mais nécessite également l’analyse de phrases, la notation mathématique, l’application de formules et l’utilisation de symboles. C’est complexe, sans doute, mais les chercheurs de Google Ils ont publié qui, disent-ils, est un « modèle de langage capable de résoudre des questions mathématiques et scientifiques grâce à un raisonnement pas à pas« . Son nom : Minerve.

Un train part de Madrid à une vitesse de 250 km/h et un autre de Barcelone à…

Comme l’expliquent Ethan Dyer et Guy Gur-Ari, chercheurs en charge de l’article « Résoudre des problèmes de raisonnement quantitatif avec des modèles de langage« , Minerva résout les problèmes de raisonnement quantitatif en générant des solutions qui incluent calculs numériques et manipulation symbolique sans dépendre d’outils externes, comme une calculatrice.

Le modèle analyse et répond à des questions mathématiques en combinant langage naturel et notation mathématique, de sorte que le résultat est un explication complète et compréhensible du problème. Par exemple, le problème sous ces lignes, bien que sur GitHub vous pouvez en trouver beaucoup d’autres dans différents domaines.

Minerva est basé sur PaLM (Modèle de langage Pathaways), à laquelle s’est ajoutée une formation complémentaire consistant en 118 Go d’articles scientifiques et de pages Web arXiv contenant des expressions mathématiques dans Latex Oui mathjax, entre autres formats. Fondamentalement, le modèle a appris à « converser en utilisant la notation mathématique standard », selon les chercheurs.

Le fonctionnement, sinon, est assez similaire aux autres modèles du langage : plusieurs solutions sont générées et Minerva attribuer des probabilités à différents résultats. Toutes les solutions arrivent (presque toujours) à la même réponse, mais avec des étapes différentes. Ce que fait le modèle, c’est utiliser le vote à la majorité pour choisir le résultat le plus courant et le donner comme réponse finale.

Dans l’image ci-dessus, publiée par Google, vous pouvez voir le résultat de Minerva dans différents Repères STEM (Mathématiques, MMLU-STEM et GSM8k). Selon Google, « Minerva obtient des résultats de pointe, parfois de loin ». Cependant, le modèle n’est pas parfait et fait aussi des erreurs.

Comme détaillé par Google, Minerva se trompe de temps en temps, bien que ses erreurs soient « facilement interprétables ». Selon les mots des chercheurs, « environ la moitié sont des erreurs de calcul, et l’autre moitié sont des erreurs de raisonnement, dans lesquelles les étapes de la solution ne suivent pas une chaîne de pensée logique ». Une autre option est que le modèle obtienne la bonne réponse avec un raisonnement erroné (faux positif). Vous trouverez ci-dessous quelques exemples.

Enfin, les chercheurs soulignent que le modèle a quelques limites, car les réponses du modèle ne peuvent pas être vérifiées automatiquement. La raison en est que Minerva génère des réponses en utilisant le langage naturel et des expressions mathématiques LaTeX, « sans structure mathématique sous-jacente explicite ».

Plus d’informations | Google