L’architecture à double domaine montre une efficacité énergétique près de 40 fois plus élevée pour l’exécution de réseaux de neurones

De nombreuses architectures informatiques conventionnelles sont mal équipées pour répondre aux demandes de calcul des modèles basés sur l’apprentissage automatique. Ces dernières années, certains ingénieurs ont ainsi tenté de concevoir des architectures alternatives qui pourraient être mieux adaptées à la gestion de ces modèles.

Certaines des solutions les plus prometteuses pour gérer les réseaux de neurones artificiels (ANN) sont des systèmes dits de calcul en mémoire (CIM). Ces systèmes sont conçus pour traiter et stocker des données dans un seul système matériel, ce qui peut réduire la consommation d’énergie et augmenter les performances des modèles basés sur ANN.

Les systèmes CIM sont divisés en deux grandes catégories: les systèmes numériques de CIM (DCIM) et de CIM analogique (ACIM). Dans un article publié dans Nature électroniqueLes chercheurs de l’Université de Tsinghua introduisent un nouveau système ACIM à double domaine qui pourrait exécuter les ANN plus efficacement, tout en augmentant leurs performances dans les tâches d’inférence générales.

« La recherche sur l’ACIM pour les calculs de réseaux de neurones a attiré une attention importante, mais les progrès ont été principalement dans les tâches de classification (par exemple, classification d’image) », a déclaré Ze Wang, premier auteur du journal, à Tech Xplore.

« À ce jour, l’ACIM est toujours confronté à des défis importants dans la gestion des tâches de régression complexes (par exemple, Yolo pour la détection d’objets), en raison de deux limitations clés. Le premier est un bruit de calcul élevé et le second se compose de problèmes de compatibilité des données à point flottant (FP), ce qui le rend inadapté aux tâches de régression nécessitant généralement un calcul FP de haute précision. « 

Pour surmonter les défis généralement associés aux systèmes ACIM, Wang et ses collègues ont conçu une nouvelle architecture hybride qui combine l’informatique numérique compatible FP à haute précision avec une bonne efficacité énergétique. Leur architecture proposée s’est avérée prometteuse pour l’exécution de réseaux de neurones, permettant également à ces réseaux de terminer les tâches d’inférence générales.

« L’ACIM excelle dans la réalisation de multiplications matricielles très parallèles et économes en énergie, une opération fondamentale largement utilisée dans les réseaux de neurones, offrant des avantages importants par rapport à l’informatique numérique », a expliqué Wang.

« L’ACIM fonctionne sur la loi actuelle de Kirchhoff et la loi d’Ohm pour effectuer une multiplication basée sur la tension et une sommation actuelle directement dans le domaine analogique. Cependant, les variations de fabrication introduisent le bruit de calcul, affectant la précision dans le calcul du réseau neuronal. »

En plus d’être sujets à l’introduction du bruit, ce qui altère la précision des ANN, les systèmes ACIM ont été jusqu’à présent principalement appliqués aux tâches qui impliquent une multiplication et un ajout linéaires. En revanche, ils se sont révélés jusqu’à présent incompatibles avec les calculs FP, des opérations mathématiques plus complexes qui sont effectuées sur des nombres dits FP (c’est-à-dire des représentations informatiques des nombres).

« Pour la première fois, nous démontons une tâche de détection d’objets multi-cibles et multi-classes entièrement implémentée, Yolo (vous ne regardez qu’une seule fois), sur un véritable système ACIM », a écrit Wang. « Cela représente une étape importante, étendant les capacités d’ACIM au-delà de la simple prise en charge des tâches de classification à un soutien complet de l’inférence du réseau neuronal général avec le flux de données FP. »

Wang et ses collègues ont évalué leur architecture dans une série de tests et ont constaté qu’il présentait une efficacité énergétique remarquable, qui était 39,2 fois plus élevée que celle obtenue par des multiplicateurs FP-32 communs exécutant des modèles basés sur Ann. Les chercheurs ont également créé un prototype de système informatique basé sur Memristor basé sur leur conception, qui s’est avéré atteindre une haute précision (2,7 fois plus élevée en moyenne que celle des systèmes ACIM purs).

Cette étude récente pourrait inspirer le développement d’autres architectures ACIM hybrides, qui pourraient être mieux adaptées à l’exécution de modèles basés sur l’apprentissage automatique sur des tâches informatiques complexes. Pendant ce temps, Wang et ses collègues prévoient de continuer à s’appuyer sur leur architecture, afin d’améliorer encore sa précision et son efficacité énergétique.

« Il y a encore amplement de place pour une exploration et une amélioration plus approfondies de nos travaux actuels », a ajouté Wang.

« Nos futures recherches se concentreront sur la co-conception et l’optimisation de l’architecture, des algorithmes et du matériel pour améliorer l’efficacité énergétique et la précision des systèmes de calcul hybrides analogiques-numériques. En fin de compte, nous visons à soutenir une gamme plus large de calculs de réseau neuronal et de déverrouillage Nouveaux scénarios d’application. «