Microsoft présente rStar-Math, un SLM pour le raisonnement mathématique et la résolution de problèmes
Une équipe de chercheurs en mathématiques et en IA de Microsoft Asie a conçu et développé un petit modèle de langage (SLM) qui peut être utilisé pour résoudre des problèmes mathématiques. Le groupe a publié un article sur arXiv serveur de préimpression décrivant la technologie et les mathématiques derrière le nouvel outil et ses performances par rapport aux tests de référence standard.
Au cours des dernières années, plusieurs géants de la technologie ont travaillé dur pour améliorer régulièrement leurs LLM, ce qui a abouti à des produits d’IA qui sont devenus courants en très peu de temps. Malheureusement, ces outils nécessitent d’énormes quantités de puissance informatique, ce qui signifie qu’ils consomment beaucoup d’électricité, ce qui les rend coûteux à entretenir.
Pour cette raison, certains acteurs du domaine se sont tournés vers les SLM, qui, comme leur nom l’indique, sont plus petits et donc moins gourmands en ressources. Certains sont suffisamment petits pour fonctionner sur un appareil local. L’une des principales façons pour les chercheurs en IA de tirer le meilleur parti des SLM consiste à affiner leur champ d’action : au lieu d’essayer de répondre à n’importe quelle question sur quoi que ce soit, ils sont conçus pour répondre à des questions sur quelque chose de beaucoup plus spécifique, comme les mathématiques. Dans ce nouvel effort, Microsoft a concentré ses efforts non seulement sur la résolution de problèmes mathématiques, mais également sur l’enseignement à un SLM de la manière de raisonner pour résoudre un problème.
En développant son modèle, Microsoft l’a conçu de manière à permettre son utilisation par d’autres modèles plus grands. Une stratégie globale qui pourrait être la vague du futur. Les nouveaux LLM pourraient bientôt n’être qu’un amalgame de nombreux SLM. Notamment, l’annonce de Microsoft est intervenue peu de temps après le lancement de son Phi-4 SLM, qui sert également à résoudre des problèmes mathématiques.
rStar-Math fait son travail différemment de Phi-4, notent les chercheurs, en utilisant la recherche arborescente de Monte Carlo, une méthode de raisonnement développée pour imiter la façon dont les humains attaquent les problèmes dans un processus étape par étape. Ils notent qu’en utilisant une telle approche, leur nouveau SLM peut décomposer un problème en parties plus petites afin de déterminer comment résoudre un problème particulier. Ils notent également que rStar-Math montre son travail en affichant son processus de réflexion à la fois en code Python et en langage naturel.
L’équipe a également noté que rStar-Math a déjà obtenu de bons résultats sur plusieurs tests. Et selon un article sur Hugging Face, l’équipe prévoit de rendre le code et les données accessibles au public sur GitHub.
