Une IA en a amélioré une autre de la manière la plus inattendue : en supprimant ce qui la gênait

Obtenir un nouveau modèle de langage n’est pas une tâche triviale. Ce processus comprend un long plan de formation et des capacités informatiques élevées pour affiner le LLM et garantir qu’il peut traiter les requêtes et les résoudre de la manière la plus efficace et efficiente possible. Mais et si, au lieu de recycler un modèle pour l’améliorer, une autre IA pouvait le peaufiner de l’intérieur ? C’est à peu près ce qui vient d’être réalisé.

La réalisation. Les modèles sont améliorés en les formant pour acquérir de plus grandes capacités et des processus plus efficaces. Ce que les scientifiques du MIT CSAIL ont réalisé est un raccourci qui pourrait conduire à une avancée notable pour des modèles plus contenus : ils ont réussi à faire en sorte qu’une IA supérieure améliore une IA inférieure en modifiant une partie minimale de ses poids.

Le processus. Les scientifiques ont utilisé Qwen3.5-0.8B et ont essayé de pousser le modèle d’un cran dans le traitement mathématique. Pour ce faire, ils ont demandé à GPT-6 Astra de modifier les poids de son cousin pour résoudre certaines boucles de raisonnement. Suite à ce processus, Qwen a augmenté ses capacités MATH-500 de 7,9 % à 48,1 %.

Non seulement l’utilisation d’un autre modèle de langage et l’absence de formation ressortent, mais ce qui est curieux, c’est qu’Astra a réussi à faire en sorte que Qwen résolve mieux les problèmes mathématiques en ajustant ses poids. Plus précisément, Astra a agi sur 0,016 % des pesos de Qwen. Le MIT a appelé ce processus « Weight-Space Programming ».

Ce n’est pas la fin de la formation. L’avancée est importante et ouvre une nouvelle voie de recherche. Il propose également une voie par laquelle différentes entreprises pourraient améliorer leurs modèles bon marché de la même manière : à moindre coût. Cela semble prometteur, mais il reste encore trop d’obstacles à surmonter.

La première est que les recherches du MIT ne sont pas évaluées par des pairs, elles font partie de travaux préliminaires. La seconde est que la méthode ne fonctionne que s’il y a quelque chose à supprimer. Avec le Gemma 3 270M, un modèle de Google qui ne souffre pratiquement pas de boucles, l’amélioration était quasiment nulle.

Le premier pas vers une IA auto-réparatrice ? Si une IA peut déjà en réparer une autre de l’intérieur, la prochaine étape, celle qui inquiète des entreprises comme Anthropic, est qu’elle applique elle-même les améliorations. Les chercheurs du MIT eux-mêmes anticipent cette conclusion, même si elle est encore loin d’être réalisée.

Une autre question que nous pose la programmation du poids est l’optimisation actuelle des modèles. Parce que si les chercheurs ont réussi à rendre Qwen plus décisif en mathématiques après y avoir mis les ciseaux, utilisons-nous des LLM qui pourraient être meilleurs s’il y avait une plus grande optimisation derrière ?

Image de couverture |

À Simseo | « Ils vont empirer » : Jason Clinton, directeur adjoint de la cybersécurité d’Anthropic, met en garde contre ce qui va arriver