Une étude montre que le calcul multitâche flexible dans les réseaux neuronaux récurrents repose sur des motifs dynamiques

La flexibilité cognitive, c'est-à-dire la capacité à passer rapidement d'une pensée à une autre et d'un concept mental à un autre, est une capacité humaine très avantageuse. Cette capacité essentielle favorise la réalisation de plusieurs tâches à la fois, l'acquisition rapide de nouvelles compétences et l'adaptation à de nouvelles situations.

Bien que les systèmes d’intelligence artificielle (IA) aient progressé de manière exponentielle au cours des dernières décennies, ils ne font pas encore preuve de la même souplesse que les humains pour acquérir de nouvelles compétences et passer d’une tâche à l’autre. Une meilleure compréhension de la manière dont les circuits neuronaux biologiques favorisent la flexibilité cognitive, en particulier la prise en charge du multitâche, pourrait éclairer les efforts futurs visant à développer une IA plus flexible.

Récemment, des informaticiens et des neuroscientifiques ont étudié les calculs neuronaux à l'aide de réseaux neuronaux artificiels. La plupart de ces réseaux ont toutefois été généralement formés pour s'attaquer à des tâches spécifiques individuellement plutôt qu'à des tâches multiples.

En 2019, un groupe de recherche de l’Université de New York, de l’Université Columbia et de l’Université de Stanford a formé un seul réseau neuronal pour effectuer 20 tâches connexes.

Dans un nouvel article publié dans Neurosciences de la natureune équipe de Stanford a entrepris d'étudier ce qui permet à ce réseau neuronal d'effectuer des calculs modulaires, s'attaquant ainsi à plusieurs tâches différentes.

« Le calcul flexible est une caractéristique du comportement intelligent », ont écrit Laura N. Driscoll, Krishna Shenoy et David Sussillo dans leur article. « Cependant, on sait peu de choses sur la façon dont les réseaux neuronaux se reconfigurent contextuellement pour différents calculs. Dans le présent travail, nous avons identifié un substrat neuronal algorithmique pour le calcul modulaire grâce à l'étude des réseaux neuronaux récurrents artificiels multitâches. »

L'objectif principal de l'étude récente de Driscoll, Shenoy et Sussillo était d'étudier les mécanismes qui sous-tendent les calculs des réseaux neuronaux artificiels connectés de manière récurrente. Leurs efforts ont permis aux chercheurs d'identifier un substrat informatique de ces réseaux qui permet des calculs modulaires, un substrat qu'ils décrivent sous le terme de « motifs dynamiques ».

« Les analyses de systèmes dynamiques ont révélé des stratégies de calcul apprises reflétant la structure modulaire des sous-tâches de l'ensemble des tâches d'entraînement », ont écrit Driscoll, Shenoy et Sussillo. « Les motifs dynamiques, qui sont des modèles récurrents d'activité neuronale qui mettent en œuvre des calculs spécifiques par le biais de la dynamique, tels que les attracteurs, les limites de décision et les rotations, ont été réutilisés dans les tâches. Par exemple, les tâches nécessitant la mémorisation d'une variable circulaire continue ont réutilisé le même attracteur annulaire. »

Les chercheurs ont mené une série d'analyses qui ont révélé que dans les réseaux neuronaux convolutionnels, les motifs dits dynamiques sont mis en œuvre par des groupes d'unités lorsque la fonction d'activation de l'unité est limitée à une valeur positive. De plus, il a été constaté que les lésions de ces unités ont un impact négatif sur la capacité des réseaux à effectuer des calculs modulaires.

« Les motifs ont été reconfigurés pour un apprentissage par transfert rapide après une phase initiale d'apprentissage », ont écrit Driscoll, Shenoy et Sussillo. « Ce travail établit les motifs dynamiques comme une unité fondamentale du calcul compositionnel, intermédiaire entre le neurone et le réseau. Comme les études sur l'ensemble du cerveau enregistrent simultanément l'activité de plusieurs systèmes spécialisés, le cadre des motifs dynamiques guidera les questions sur la spécialisation et la généralisation. »

Dans l’ensemble, l’étude récente de cette équipe de chercheurs identifie un substrat des réseaux neuronaux convolutionnels qui contribue de manière significative à leur capacité à s’attaquer efficacement à plusieurs tâches. À l’avenir, les résultats de ces travaux pourraient éclairer la recherche en neurosciences et en informatique, conduisant potentiellement à une meilleure compréhension des processus neuronaux qui sous-tendent la flexibilité cognitive et éclairant le développement de nouvelles stratégies qui imitent ces processus dans les réseaux neuronaux artificiels.