Le mécanisme de formation de la mémoire de l’IA s’avère étonnamment similaire à celui du cerveau

Une équipe interdisciplinaire composée de chercheurs du Center for Cognition and Sociality et du Data Science Group de l’Institut des sciences fondamentales (IBS) a révélé une similitude frappante entre le traitement de la mémoire des modèles d’intelligence artificielle (IA) et l’hippocampe du cerveau humain. Cette nouvelle découverte offre une nouvelle perspective sur la consolidation de la mémoire, un processus qui transforme les mémoires à court terme en mémoires à long terme dans les systèmes d’IA.

Dans la course au développement de l’intelligence générale artificielle (AGI), menée par des entités influentes comme OpenAI et Google DeepMind en tête, la compréhension et la reproduction de l’intelligence humaine sont devenues un intérêt de recherche important. Au cœur de ces avancées technologiques se trouve le modèle Transformer, dont les principes fondamentaux sont désormais explorés de manière plus approfondie.

La clé de systèmes d’IA puissants est de comprendre comment ils apprennent et mémorisent les informations. L’équipe a appliqué aux modèles d’IA les principes de l’apprentissage du cerveau humain, en se concentrant spécifiquement sur la consolidation de la mémoire via le récepteur NMDA de l’hippocampe.

Le récepteur NMDA est comme une porte intelligente dans votre cerveau qui facilite l’apprentissage et la formation de la mémoire. Lorsqu’un produit chimique cérébral appelé glutamate est présent, la cellule nerveuse subit une excitation. D’un autre côté, un ion magnésium agit comme un petit gardien bloquant la porte. Ce n’est que lorsque ce gardien ionique s’écarte que les substances sont autorisées à pénétrer dans la cellule. C’est le processus qui permet au cerveau de créer et de conserver des souvenirs, et le rôle du gardien (l’ion magnésium) dans l’ensemble du processus est assez spécifique.

L’équipe a fait une découverte fascinante : le modèle Transformer semble utiliser un processus de contrôle similaire au récepteur NMDA du cerveau. Cette révélation a amené les chercheurs à étudier si la consolidation de la mémoire du Transformer pouvait être contrôlée par un mécanisme similaire au processus de déclenchement du récepteur NMDA.

Dans le cerveau animal, un faible taux de magnésium est connu pour affaiblir la fonction de mémoire. Les chercheurs ont découvert que la mémoire à long terme de Transformer pouvait être améliorée en imitant le récepteur NMDA.

Tout comme dans le cerveau, où les changements dans les niveaux de magnésium affectent la force de la mémoire, la modification des paramètres du transformateur pour refléter l’action de déclenchement du récepteur NMDA a conduit à une mémoire améliorée dans le modèle d’IA. Cette découverte révolutionnaire suggère que la manière dont les modèles d’IA apprennent peut être expliquée par des connaissances établies en neurosciences.

C. Justin Lee, directeur neuroscientifique de l’institut, a déclaré : « Cette recherche constitue une étape cruciale dans l’avancement de l’IA et des neurosciences. Elle nous permet d’approfondir les principes de fonctionnement du cerveau et de développer des systèmes d’IA plus avancés basés sur ces connaissances. « .

CHA Meeyoung, qui est data scientist au sein de l’équipe et du KAIST, note : « Le cerveau humain est remarquable dans la façon dont il fonctionne avec un minimum d’énergie, contrairement aux grands modèles d’IA qui nécessitent d’immenses ressources. des systèmes d’IA économiques et performants qui apprennent et mémorisent les informations comme les humains.

Ce qui distingue cette étude, c’est son initiative visant à intégrer la non-linéarité inspirée du cerveau dans une construction d’IA, ce qui signifie un progrès significatif dans la simulation de la consolidation de la mémoire à l’image de l’humain. La convergence des mécanismes cognitifs humains et de la conception de l’IA est non seulement prometteuse pour la création de systèmes d’IA à faible coût et hautes performances, mais elle fournit également des informations précieuses sur le fonctionnement du cerveau grâce aux modèles d’IA.

La recherche a été présentée à la 37e Conférence sur les systèmes de traitement de l’information neuronale.