Un nouveau code machine neuronal pour programmer les ordinateurs réservoirs

L’informatique de réservoir est un cadre de calcul prometteur basé sur les réseaux de neurones récurrents (RNN), qui mappe essentiellement les données d’entrée sur un espace de calcul de grande dimension, en gardant certains paramètres des réseaux de neurones artificiels (ANN) fixes tout en en mettant à jour d’autres. Ce cadre pourrait aider à améliorer les performances des algorithmes d’apprentissage automatique, tout en réduisant la quantité de données nécessaires pour les former correctement.

Les RNN tirent essentiellement parti des connexions récurrentes entre leurs différentes unités de traitement pour traiter des données séquentielles et faire des prédictions précises. Bien que les RNN se soient avérés performants sur de nombreuses tâches, optimiser leurs performances en identifiant les paramètres les plus pertinents pour la tâche à laquelle ils seront confrontés peut être difficile et prendre du temps.

Jason Kim et Dani S. Bassett, deux chercheurs de l’Université de Pennsylvanie, ont récemment introduit une approche alternative pour concevoir et programmer des ordinateurs réservoirs basés sur RNN, qui s’inspire du fonctionnement des langages de programmation sur le matériel informatique. Cette approche, publiée dans Intelligence des machines naturellespeut identifier les paramètres appropriés pour un réseau donné, en programmant ses calculs pour optimiser ses performances sur des problèmes cibles.

« Qu’il s’agisse de calculer un pourboire ou de simuler plusieurs mouvements dans une partie d’échecs, nous avons toujours été intéressés par la façon dont le cerveau représente et traite les informations », a déclaré Kim à Tech Xplore. « Nous avons été inspirés par le succès des réseaux de neurones récurrents (RNN) à la fois pour modéliser la dynamique cérébrale et pour apprendre des calculs complexes. Forts de cette inspiration, nous avons posé une question simple : et si nous pouvions programmer les RNN de la même manière que les ordinateurs ? les travaux sur la théorie du contrôle, les systèmes dynamiques et la physique nous ont dit que ce n’était pas un rêve impossible. »

Le code machine neuronal introduit par Kim et Bassett a été atteint en décompilant les représentations internes et la dynamique des RNN pour guider leur analyse des données d’entrée. Leur approche ressemble au processus de compilation d’un algorithme sur du matériel informatique, qui implique de détailler les emplacements et les horaires auxquels les transistors individuels doivent être activés et désactivés.

« Dans un RNN, ces opérations sont spécifiées simultanément dans les poids répartis sur le réseau, et les neurones exécutent les opérations en parallèle et stockent la mémoire », a expliqué Kim. « Nous utilisons les mathématiques pour définir l’ensemble d’opérations (poids de connexion) qui exécutera un algorithme souhaité (par exemple, résoudre une équation, simuler un jeu vidéo), et pour extraire l’algorithme qui est exécuté sur un ensemble existant de poids. Les avantages uniques de notre approche sont qu’elle ne nécessite ni données ni échantillonnage, et qu’elle ne définit pas seulement une connectivité, mais un espace de modèles de connectivité qui exécutent l’algorithme souhaité. »

Les chercheurs ont démontré les avantages de leur framework en l’utilisant pour développer des RNN pour diverses applications, notamment des machines virtuelles, des portes logiques et un jeu vidéo de ping-pong alimenté par l’IA. Ces algorithmes se sont tous avérés remarquablement performants, sans nécessiter d’ajustements par essais et erreurs de leurs paramètres.

« Une contribution notable de notre travail est un changement de paradigme dans la façon dont nous comprenons et étudions les RNN, des outils de traitement de données aux ordinateurs à part entière », a déclaré Kim. « Ce changement signifie que nous pouvons examiner un RNN formé et savoir quel problème il résout, et nous pouvons concevoir des RNN pour effectuer des tâches sans données de formation ni rétropropagation. Pratiquement, nous pouvons initialiser nos réseaux avec un algorithme basé sur des hypothèses plutôt que des poids aléatoires. ou un RNN pré-formé, et nous pouvons extraire directement le modèle appris du RNN. »

Le cadre de programmation et le code machine neuronal introduits par cette équipe de chercheurs pourraient bientôt être utilisés par d’autres équipes pour concevoir des RNN plus performants et ajuster facilement leurs paramètres. Kim et Bassett espèrent finalement utiliser leur framework pour créer un logiciel à part entière fonctionnant sur du matériel neuromorphique. Dans leurs prochaines études, ils prévoient également de concevoir une approche pour extraire des algorithmes appris par des ordinateurs de réservoir entraînés.

« Alors que les réseaux de neurones sont exceptionnels pour traiter des données complexes et de grande dimension, ces réseaux ont tendance à coûter beaucoup d’énergie pour fonctionner, et comprendre ce qu’ils ont appris est exceptionnellement difficile », a déclaré Kim. « Notre travail fournit un tremplin pour décompiler et traduire directement les poids formés en un algorithme explicite qui peut être exécuté beaucoup plus efficacement sans avoir besoin du RNN, et examiné plus en détail pour la compréhension et les performances scientifiques. »

Le groupe de recherche de Bassett à l’Université de Pennsylvanie travaille également sur l’utilisation d’approches d’apprentissage automatique, en particulier les RNN, pour reproduire les processus et les capacités mentaux humains. Le code machine neuronal qu’ils ont récemment créé pourrait soutenir leurs efforts dans ce domaine de recherche.

« Une deuxième direction de recherche passionnante consiste à concevoir des RNN pour effectuer des tâches caractéristiques de la fonction cognitive humaine », a ajouté Dani S. Bassett, le professeur supervisant l’étude. « En utilisant des théories, des modèles ou des définitions de processus cognitifs dérivées de données, nous envisageons de concevoir des RNN pour susciter l’attention, la proprioception et la curiosité. Ce faisant, nous sommes impatients de comprendre les profils de connectivité qui prennent en charge ces processus cognitifs distincts. »