Le modèle d’IA basé sur les oscillations neuronales offre des prédictions stables et efficaces à longue séquence

Des chercheurs du Laboratoire d’intelligence informatique et d’intelligence artificielle du MIT (CSAIL) ont développé un nouveau modèle d’intelligence artificielle (IA) inspiré des oscillations neurales dans le cerveau, dans le but de faire progresser considérablement la façon dont les algorithmes d’apprentissage automatique gèrent de longues séquences de données.

L’IA a souvent du mal à analyser des informations complexes qui se déroulent sur de longues périodes, telles que les tendances climatiques, les signaux biologiques ou les données financières. Un nouveau type de modèle d’IA appelé «modèles d’espace d’état» a été conçu spécifiquement pour comprendre ces modèles séquentiels plus efficacement. Cependant, les modèles existants dans l’espace d’État sont souvent confrontés à des défis – ils peuvent devenir instables ou nécessiter une quantité importante de ressources de calcul lors du traitement des séquences de données longues.

Pour résoudre ces problèmes, les chercheurs de CSAIL T. Konstantin Rusch et Daniela Rus ont développé ce qu’ils appellent des «modèles d’espace d’État oscillatoire linéaires» (Linoss), qui exploitent les principes des oscillateurs harmoniques forcés – un concept profondément enraciné dans la physique et observé dans les réseaux neuronaux biologiques.

Cette approche fournit des prédictions stables, expressives et efficaces sur le plan informatique sans conditions trop restrictives sur les paramètres du modèle. Le travail est disponible sur le arxiv serveur de préimprimée.

« Notre objectif était de saisir la stabilité et l’efficacité observées dans les systèmes neuronaux biologiques et de traduire ces principes dans un cadre d’apprentissage automatique », a expliqué Rusch. « Avec Linoss, nous pouvons maintenant apprendre de manière fiable des interactions à longue portée, même dans des séquences couvrant des centaines de milliers de points de données ou plus. »

Le modèle Linoss est unique pour assurer une prédiction stable en nécessitant des choix de conception beaucoup moins restrictifs que les méthodes précédentes. De plus, les chercheurs ont rigoureusement prouvé la capacité d’approximation universelle du modèle, ce qui signifie qu’elle peut approximer toute fonction continue et causale reliant les séquences d’entrée et de sortie.

Les tests empiriques ont démontré que Linoss a systématiquement surpassé les modèles de pointe existants à travers diverses tâches de classification et de prévision de séquence exigeante. Notamment, Linoss a surpassé le modèle Mamba largement utilisé de près de deux fois dans des tâches impliquant des séquences de longueur extrême.

Reconnue pour sa signification, la recherche a été sélectionnée pour une présentation orale à ICLR 2025 – un honneur décerné aux 1% supérieurs des soumissions. Les chercheurs du MIT prévoient que le modèle de Linoss pourrait avoir un impact significatif sur tous les domaines qui bénéficieraient d’une prévision et d’une classification excitantes et efficaces, notamment l’analyse des soins de santé, la science du climat, la conduite autonome et les prévisions financières.

« Ce travail illustre comment la rigueur mathématique peut entraîner des percées de performance et des applications larges », a déclaré Rus. « Avec Linoss, nous fournissons à la communauté scientifique un outil puissant pour comprendre et prédire les systèmes complexes, combler l’écart entre l’inspiration biologique et l’innovation informatique. »

L’équipe imagine que l’émergence d’un nouveau paradigme comme Linoss intéressera les praticiens de l’apprentissage automatique sur lequel s’appuyer. Pour l’avenir, les chercheurs prévoient d’appliquer leur modèle à une gamme encore plus large de modalités de données différentes. De plus, ils suggèrent que Linoss pourrait fournir des informations précieuses sur les neurosciences, améliorant potentiellement notre compréhension du cerveau lui-même.