Le modèle de langage de l’IA dans le cerveau capture à la fois comment les neurones sont disposés et comment ils fonctionnent

Les neurones – les cellules nerveuses responsables de la transmission de signaux électriques et chimiques dans tout le corps – sont organisés en tissus, tendant à se regrouper en groupes en fonction de leur fonctionnement. Par exemple, des études de langue ont montré qu’il existe des grappes de neurones qui semblent se spécialiser dans les verbes et d’autres qui se concentrent spécifiquement sur les noms, mais les chercheurs ne savent pas comment se forment ces groupes fonctionnels.

Les modèles précédents en matière de langue IA ont pu capturer avec succès ces grappes individuelles de neurones fonctionnels, mais n’ont pas examiné comment ceux-ci sont disposés spatialement dans le cerveau.

Désormais, des chercheurs du Laboratoire Neuroai, qui font partie de l’École des sciences informatiques et de la communication (IC) et de l’École des sciences de la vie (SV), ont créé Topolm, un nouveau modèle de langage d’IA qui imite à la fois le regroupement fonctionnel des neurones et, pour la première fois, comment ces cellules nerveuses sont disposées spatialement dans le cerveau.

« S’appuyant sur le travail sur la façon dont le cerveau traite la vision, nous avons apporté des modifications relativement faibles à la façon dont un modèle de langue s’organise en interne, ajoutant une règle qui encourage les représentations internes du modèle à être« lisses »spatialement.

« Le modèle résultant, Topolm, développe des grappes spatiales de ses composants internes qui correspondent fonctionnellement à l’activité que nous voyons dans le cerveau humain lorsqu’ils traitent le langage », a expliqué le professeur adjoint Martin Schrimpf, chef du laboratoire de neuroai.

Dans l’article, « Topolm: Brain-like Spatio-Fonctional Organization dans un modèle de langue topographique », « l’un des moins de 2% des articles sélectionnés pour être présentés oralement cette semaine à l’ICLR 2025, la conférence internationale sur les représentations d’apprentissage du cerveau, le Cortex, le Cortex, développe son spatio-Functional Organisation. Le papier est également disponible sur le arxiv serveur de préimprimée.

« Il s’agissait de recherches fondamentales pour comprendre comment les grappes spatiales ou les grappes fonctionnelles dans le cerveau proviennent en premier lieu et ce que ce nouveau modèle suggère, c’est qu’il pourrait être motivé par une seule règle de base concernant l’organisation spatiale où les neurones proches ont tendance à se comporter de la même manière », a poursuivi Schrimpf.

Les chercheurs pensent que Topolm fournit un cadre pour améliorer l’alignement fonctionnel de l’IA sur la cognition humaine, offrant des applications directes au développement de l’informatique et de la neurolinguistique inspirées du cerveau.

« Il s’agit d’une étape passionnante vers la construction de systèmes d’intelligence artificielle qui sont davantage organisés comme le cerveau humain. L’un de nos principaux objectifs est de construire de meilleurs modèles du cerveau en général et avec Topolm, nous sommes un peu plus près des applications cliniques qui pourraient nous aider à aider les personnes ayant des troubles linguistiques ou des déficits linguistiques similaires », a déclaré Badr Alkhamissi, un assistant doctoral du Paper Labor et de l’ICM de l’ICM en matière de langage naturel (NLP).

Ce travail met également en lumière l’interprétabilité, essentiellement la compréhension de ce qui se passe à l’intérieur des modèles complexes de grande langue (LLM) et de la façon dont ils fonctionnent réellement. Normalement, les LLM ont des représentations mathématiques appelées « vecteurs » associés à chaque « neurone » artificiel. Pour comprendre ce que le modèle a appris, il serait nécessaire d’analyser chaque vecteur individuellement ou en petits groupes.

Parce que Topolm organise ses composants internes en grappes, il est possible de les examiner et de voir des groupements significatifs émerger. Cela rend plus simple de comprendre comment le modèle représente et traite le langage car l’organisation elle-même reflète des catégories significatives.

Alors, quelle est la prochaine étape dans cette recherche de pointe? L’équipe de recherche EPFL s’efforcera désormais de tester les prédictions du modèle sur le cerveau humain.

« Ce modèle fonctionne si bien, bien mieux que ce à quoi nous nous attendions, que nous voulons tester si ses prédictions sont vraies. Il y a des grappes dans le modèle que nous n’avons pas encore observé dans le cerveau humain parce que personne ne les a encore recherchés. Nous travaillons avec des collègues aux États-Unis qui travaillent expérimentalement avec les humains pour mener une nouvelle étude d’imagerie pour découvrir si ces clustes apparaissent également dans le cerveau humain », conclue Schrimpf.