Réseaux de neurones à graphe d’état d’écho avec matrices de mémoire résistives aléatoires analogiques
Co-conception matériel-logiciel d’ESGNN basé sur une mémoire résistive aléatoire pour l’apprentissage des graphes. a, Une micrographie électronique à transmission en coupe transversale d’une seule cellule de mémoire résistive qui fonctionne comme une résistance aléatoire après un claquage diélectrique. Barre d’échelle 20 nm. b, Une micrographie électronique à transmission en coupe transversale du réseau de barres transversales de mémoire résistive fabriqué à l’aide du processus de fin de ligne sur une bande de sortie de nœud technologique de 40 nm. Barre d’échelle 500 nm. c, Une illustration schématique de la partition du réseau crossbar de mémoire résistive aléatoire, où les cellules ombrées en bleu sont les poids de la matrice récursive (transmettant les messages le long des bords) tandis que celles en rouge sont les poids de la matrice d’entrée (transformant les caractéristiques d’entrée du nœud ). d, La carte de conductance correspondante des deux réseaux de résistances aléatoires en c. e, La distribution de conductance des matrices de mémoire résistives aléatoires. f, La procédure d’intégration de nœuds de l’ESGNN proposé. L’état interne de chaque nœud au pas de temps suivant est co-déterminé par la somme des contributions voisines (les flèches bleues indiquent les multiplications entre les vecteurs d’état internes des nœuds et la matrice récursive en d), la caractéristique d’entrée du nœud après une projection aléatoire ( les flèches rouges indiquent les multiplications entre les vecteurs de caractéristiques des nœuds d’entrée avec la matrice d’entrée en d) et l’état interne du nœud au pas de temps précédent. g, Le plongement de graphes basé sur les plongements de nœuds. Le graphe incorporant le vecteur g est la somme regroupant tous les vecteurs d’état internes du nœud dans le dernier pas de temps. Crédit: Intelligence des machines naturelles (2023). DOI : 10.1038/s42256-023-00609-5
Les réseaux de neurones graphiques ont été largement utilisés pour étudier les réseaux sociaux, le commerce électronique, les prédictions de drogues, l’interaction homme-ordinateur, etc.
Dans une nouvelle étude publiée dans Intelligence des machines naturelles en couverture, des chercheurs de l’Institut de microélectronique de l’Académie chinoise des sciences (IMECAS) et de l’Université de Hong Kong ont accéléré l’apprentissage des graphes avec une mémoire résistive aléatoire (RRM), obtenant des améliorations de 40,37 fois l’efficacité énergétique par rapport à une unité de traitement graphique sur tâches d’apprentissage de graphes représentatifs.
L’apprentissage en profondeur avec des graphiques sur les ordinateurs von Neumann traditionnels entraîne de fréquents transferts de données, ce qui entraîne inévitablement de longs temps de traitement et une forte consommation d’énergie. L’informatique en mémoire avec mémoire résistive peut fournir une nouvelle solution.
Les chercheurs ont présenté une nouvelle conception conjointe matériel-logiciel, le réseau neuronal de graphe d’état d’écho basé sur RRM, pour relever ces défis.
Le RRM exploite non seulement des résistances à faible coût, à l’échelle nanométrique et empilables pour un calcul en mémoire hautement efficace, mais exploite également la stochasticité intrinsèque de la panne diélectrique pour mettre en œuvre des projections aléatoires dans le matériel pour un réseau d’état d’écho qui minimise efficacement le coût de formation.
Le travail est important pour le développement de systèmes matériels d’IA de nouvelle génération.
