Une équipe développe un dispositif neuronal supraconducteur à grande vitesse et à très faible consommation
Une équipe de recherche a développé un dispositif neuronal qui présente un potentiel d’application dans les circuits de réseaux neuronaux supraconducteurs à grande vitesse et à grande échelle. Le dispositif fonctionne à des vitesses élevées avec une consommation d'énergie ultra-faible et tolère les fluctuations des paramètres lors de la fabrication du circuit.
Leurs recherches sont publiées en ligne dans la revue Informatique et ingénierie neuromorphiques.
L’informatique neuromorphique est une approche informatique qui imite le fonctionnement du cerveau humain. À l’aide d’un matériel dédié, le système neuromorphique réalise des réseaux neuronaux artificiels à haut débit et à faible consommation. Dans un système neuromorphique, les éléments du circuit neuronal doivent se comporter comme les fonctions d'activation des neurones biologiques.
Pour réaliser des réseaux neuronaux artificiels pratiques, les chercheurs construisent des réseaux à grande échelle équipés de poids synaptiques réglables. Les poids synaptiques décrivent la force de la connexion entre deux nœuds. Ces réseaux doivent être capables de reconfiguration dynamique et de modulation fine des forces synaptiques afin de prendre en charge des tâches d'apprentissage complexes.
Pour utiliser l’informatique neuromorphique dans la prochaine génération d’applications d’IA, les technologies des dispositifs neuronaux et synaptiques doivent être avancées. Bien que l’informatique neuromorphique ait des applications potentielles dans l’intelligence artificielle en raison de sa capacité à surpasser les cadres d’apprentissage profond conventionnels en termes d’efficacité énergétique et de vitesse de calcul, la réalisation de systèmes neuromorphiques pratiques à grande échelle présente des défis importants.
« Les circuits neuromorphiques, qui imitent le fonctionnement d'un cerveau humain, sont étudiés en tant que nouveau paradigme informatique. Cependant, dans la mise en œuvre matérielle des circuits neuromorphiques, la variation des caractéristiques des circuits élémentaires, tels que les dispositifs neuronaux, provoque une dégradation des performances du réseau neuronal », a expliqué Yuki Yamanashi, professeur à l'Université nationale de Yokohama.
Les recherches de l'équipe introduisent le traitement numérique à l'aide de circuits supraconducteurs qui utilisent le quantum de flux magnétique, déterminé par des constantes physiques, comme support de signal. Le flux magnétique décrit le champ magnétique total qui traverse une surface. Un quantum de flux magnétique décrit l’unité fondamentale du flux magnétique dans un supraconducteur. La méthode de l'équipe élimine les variations dans les caractéristiques des circuits élémentaires et leur permet d'obtenir un dispositif neuronal doté de caractéristiques d'entrée-sortie idéales.
L’équipe a développé un nouveau dispositif neuronal supraconducteur compact qui implémente la fonction d’activation de l’unité linéaire rectifiée (ReLU). Cette fonction résout les problèmes causés par le problème du gradient de disparition, où le gradient de la fonction d'activation diminue et les mises à jour de poids deviennent faibles. Le gradient est une mesure des changements d'erreur du réseau neuronal à mesure que de petits ajustements sont effectués avec ses paramètres internes. Avec les réseaux neuronaux profonds, les gradients deviennent si petits que les mises à jour de poids en sont affectées. Ce problème entrave une formation efficace, en particulier dans les réseaux plus profonds.
Le circuit proposé par l'équipe réalise la caractéristique d'entrée-sortie ReLU grâce à une conversion de fréquence entre les signaux d'entrée et de sortie, basée sur le traitement de l'information numérique par un circuit logique quantique à flux unique. La logique quantique à flux unique est une technologie supraconductrice qui traite les informations très rapidement et efficacement.
L’un des principaux avantages de la conception de l’équipe est sa robustesse remarquable face à la variabilité des dispositifs en raison de la nature numérique inhérente à la logique quantique à flux unique. Cet avantage répond directement aux limites des approches analogiques précédentes.
Même avec une variation allant jusqu'à 20 % entre les paramètres individuels du circuit, le circuit atteint la caractéristique d'entrée-sortie ReLU idéale. Cette robustesse de ce dispositif constitue une nette amélioration par rapport aux dispositifs neuronaux analogiques classiques, dont les performances sont très sensibles à la non-uniformité du dispositif. Cela représente également une étape majeure vers l’intégration évolutive des réseaux de neurones supraconducteurs.
Des recherches antérieures sur la mise en œuvre de circuits de réseaux de neurones artificiels ont été tentées. Cependant, ces appareils antérieurs souffraient d’une consommation d’énergie relativement élevée et d’une capacité limitée à émuler une dynamique neuronale biologique complexe. Le dispositif neuronal de l'équipe combine un fonctionnement à haute vitesse et à très faible consommation d'énergie avec une tolérance inhérente aux variations des paramètres du dispositif. Cette caractéristique cruciale atténue la dégradation des performances souvent observée dans les réseaux neuronaux à grande échelle qui reposent sur des circuits neuronaux analogiques sensibles aux variations caractéristiques des dispositifs neuronaux.
« Ce dispositif neuronal présente des caractéristiques d'entrée-sortie idéales et résout le problème de variation caractéristique lors de l'intégration des neurones. Par conséquent, il contribue à la mise en œuvre matérielle de réseaux neuronaux à grande échelle utilisant des circuits supraconducteurs, permettant un fonctionnement ultra-rapide et à faible consommation », a déclaré Yamanashi.
Pour l’avenir, l’équipe espère mettre en œuvre un réseau neuronal supraconducteur à grande échelle et démontrer l’apprentissage à l’aide du réseau neuronal. « Nous pensons que ce circuit a le potentiel de contribuer de manière significative au calcul neuromorphique haute performance avec des circuits supraconducteurs. »
