La modélisation de la locomotion évolue avec les réseaux de neurones inspirés du cerveau
A. Vue d’ensemble de l’architecture de DMAP. Chaque composant de l’historique d’état est traité indépendamment par un réseau convolutif temporel (avec des poids partagés). Les caractéristiques extraites sont transformées en matrice de codage de valeur et en poids d’attention de chaque capteur et composant d’action conjoints. Le produit de ces matrices aboutit à un codage morphologique spécifique à l’articulation, qui est la combinaison convexe des vecteurs de codage de valeur, pondérés par leur score d’attention. Des réseaux indépendants entièrement connectés contrôlent une seule articulation, en fonction de l’état proprioceptif actuel et de la morphologie codant pour B. DMAP est entraîné pendant plusieurs épisodes avec des corps perturbés échantillonnés au hasard dans la distribution d’entraînement. Au moment du test, la performance zéro coup du modèle est évaluée sur un ensemble fixe de configurations corporelles, échantillonnées soit à l’intérieur (IID) soit à l’extérieur (OOD) de la distribution d’entraînement. Le crédit: arXiv (2022). DOI : 10.48550/arxiv.2209.14218
Une équipe de scientifiques de l’EPFL a construit un nouveau système de réseau de neurones qui peut aider à comprendre comment les animaux adaptent leurs mouvements aux changements de leur propre corps et à créer des systèmes d’intelligence artificielle plus puissants.
L’apprentissage en profondeur a été alimenté par des réseaux de neurones artificiels, qui empilent des éléments de calcul simples les uns sur les autres, pour créer de puissants systèmes d’apprentissage. Avec suffisamment de données, ces systèmes peuvent résoudre des tâches difficiles telles que reconnaître des objets, battre les humains au Go et également contrôler des robots.
« Comme vous pouvez l’imaginer, l’architecture de la manière dont vous empilez ces éléments les uns sur les autres peut influencer la quantité de données dont vous avez besoin pour apprendre et la performance plafond », déclare le professeur Alexander Mathis de la Faculté des sciences de la vie de l’EPFL.
En collaboration avec les doctorants Alberto Chiappa et Alessandro Marin Vargas, les trois scientifiques ont développé une nouvelle architecture réseau appelée DMAP pour « Distributed Morphological Attention Policy ». Cette architecture de réseau intègre les principes fondamentaux du contrôle sensorimoteur biologique, ce qui en fait un outil intéressant pour étudier la fonction sensorimotrice.
Le problème que le DMAP tente de résoudre est que les animaux, y compris les humains, ont évolué pour s’adapter aux changements de leur environnement et de leur propre corps. Par exemple, un enfant peut adapter sa capacité à marcher efficacement à travers tous les changements de forme et de poids du corps, du tout-petit à l’âge adulte, et le faire sur différents types de surfaces, etc. Lors du développement de DMAP, l’équipe s’est concentrée sur la façon dont un animal peut apprendre à marcher lorsque son corps est soumis à ces « perturbations morphologiques » – modifications de la longueur et de l’épaisseur des parties du corps.
« En règle générale, dans l’apprentissage par renforcement, les réseaux de neurones dits entièrement connectés sont utilisés pour apprendre les habiletés motrices », explique Mathis. L’apprentissage par renforcement est une méthode d’apprentissage automatique qui « récompense » les comportements souhaités et/ou « punit » ceux qui ne le sont pas.
Il poursuit : « Imaginez que vous ayez des capteurs qui évaluent l’état de votre corps, par exemple, les angles de votre poignet, de votre coude, de votre épaule, etc. Ces signaux de capteur sont l’entrée du système moteur, et la sortie est le activations musculaires, qui génèrent des couples. Si l’on utilise des réseaux entièrement connectés, alors, par exemple, dans la première couche, tous les capteurs de tout le corps sont intégrés. En revanche, en biologie, les informations sensorielles sont combinées de manière hiérarchique. »
« Nous avons pris des principes de neurosciences, et nous les avons distillés dans un réseau de neurones pour concevoir un meilleur système sensorimoteur », explique Alberto Chiappa. Dans leur article, publié lors de la 36e conférence annuelle sur les systèmes de traitement de l’information neurale (NeurIPS), les chercheurs présentent le DMAP qui « combine un traitement proprioceptif indépendant, une politique distribuée avec des contrôleurs individuels pour chaque articulation et un mécanisme d’attention, pour transmettre dynamiquement les informations sensorielles de différentes parties du corps à différents contrôleurs. »
DMAP a pu apprendre à « marcher » avec un corps sujet à des perturbations morphologiques, sans recevoir aucune information sur les paramètres morphologiques tels que les longueurs et largeurs spécifiques des membres. Remarquablement, le DMAP pouvait « marcher » aussi bien qu’un système qui avait accès à ces paramètres corporels.
« Nous avons donc créé un système d’apprentissage par renforcement grâce à ce que nous savons de l’anatomie », explique Alberto Chiappa. « Après avoir formé ce modèle, nous avons remarqué qu’il présentait un déclenchement dynamique rappelant ce qui se passe dans la moelle épinière, mais il est intéressant de noter que ce comportement est apparu spontanément. »
Dans l’ensemble, des modèles comme DMAP remplissent deux rôles : construire de meilleurs systèmes d’intelligence artificielle basés sur des connaissances biologiques et, inversement, construire de meilleurs modèles pour comprendre le cerveau.
Les conclusions sont disponibles sur le arXiv serveur de préimpression.
