L'architecture basée sur la RAM magnétique pourrait ouvrir la voie à la mise en œuvre de réseaux neuronaux sur les appareils IoT de pointe
Il existe sans aucun doute deux grands domaines technologiques qui se sont développés à un rythme de plus en plus rapide au cours de la dernière décennie : l’intelligence artificielle (IA) et l’Internet des objets (IoT).
En excellant dans des tâches telles que l’analyse de données, la reconnaissance d’images et le traitement du langage naturel, les systèmes d’IA sont devenus des outils indéniablement puissants dans les milieux universitaires et industriels.
Parallèlement, la miniaturisation et les progrès de l’électronique ont permis de réduire massivement la taille des appareils fonctionnels capables de se connecter à Internet. Les ingénieurs et les chercheurs prévoient un monde où les appareils IoT seront omniprésents, constituant ainsi le fondement d’un monde hautement interconnecté.
Cependant, apporter des capacités d’IA aux appareils IoT Edge présente un défi de taille. Les réseaux de neurones artificiels (ANN), l'une des technologies d'IA les plus importantes, nécessitent des ressources informatiques importantes, et les appareils IoT Edge sont intrinsèquement petits, avec une puissance, une vitesse de traitement et un espace de circuit limités. Développer des ANN capables d’apprendre, de déployer et de fonctionner efficacement sur des appareils de pointe constitue un obstacle majeur.
En réponse, le professeur Takayuki Kawahara et Yuya Fujiwara de l'Université des sciences de Tokyo travaillent dur pour trouver des solutions élégantes à ce défi. Dans leur dernière étude publiée dans Accès IEEE le 8 octobre 2024, ils ont introduit un nouvel algorithme de formation pour un type spécial d'ANN appelé réseau neuronal binarisé (BNN), ainsi qu'une implémentation innovante de cet algorithme dans une architecture de calcul en mémoire (CiM) de pointe adaptée pour les appareils IoT.
« Les BNN sont des ANN qui utilisent des poids et des valeurs d'activation de -1 et +1 seulement, et ils peuvent minimiser les ressources informatiques requises par le réseau en réduisant la plus petite unité d'information à un seul bit », explique Kawahara.
« Cependant, bien que les poids et les valeurs d'activation puissent être stockés dans un seul bit pendant l'inférence, les poids et les gradients sont des nombres réels pendant l'apprentissage, et la plupart des calculs effectués pendant l'apprentissage sont également des calculs de nombres réels. Pour cette raison, il a été difficile de fournir capacités d'apprentissage des BNN du côté de la périphérie de l'IoT.
Pour surmonter ce problème, les chercheurs ont développé un nouvel algorithme de formation appelé BNN à gradient ternarisé (TGBNN), comportant trois innovations clés. Premièrement, ils ont utilisé des gradients ternaires pendant l’entraînement, tout en gardant les poids et les activations binaires. Deuxièmement, ils ont amélioré le Straight Through Estimator (STE), améliorant ainsi le contrôle de la rétropropagation du gradient pour garantir un apprentissage efficace. Troisièmement, ils ont adopté une approche probabiliste pour mettre à jour les paramètres en exploitant le comportement des cellules MRAM.
Par la suite, l’équipe de recherche a implémenté ce nouvel algorithme TGBNN dans une architecture CiM, un paradigme de conception moderne dans lequel les calculs sont effectués directement en mémoire, plutôt que dans un processeur dédié, afin d’économiser de l’espace et de l’énergie dans les circuits. Pour y parvenir, ils ont développé une toute nouvelle porte logique XNOR comme élément de base d’un réseau de mémoire magnétique aléatoire (MRAM). Cette porte utilise une jonction tunnel magnétique pour stocker les informations dans son état de magnétisation.
Pour modifier la valeur stockée d’une cellule MRAM individuelle, les chercheurs ont utilisé deux mécanismes différents. Le premier était le couple spin-orbite, la force qui se produit lorsqu’un courant de spin électronique est injecté dans un matériau. La seconde était l’anisotropie magnétique contrôlée en tension, qui fait référence à la manipulation de la barrière énergétique qui existe entre différents états magnétiques dans un matériau. Grâce à ces méthodes, la taille du circuit de calcul du produit de la somme a été réduite de moitié par rapport aux unités conventionnelles.
L'équipe a testé les performances de son système CiM basé sur MRAM proposé pour les BNN à l'aide de l'ensemble de données d'écriture manuscrite MNIST, qui contient des images de chiffres manuscrits individuels que les ANN doivent reconnaître.
« Les résultats ont montré que notre BNN à gradient ternarisé a atteint une précision de plus de 88 % en utilisant l'apprentissage basé sur les codes de sortie avec correction d'erreurs (ECOC), tout en faisant correspondre la précision des BNN classiques avec la même structure et en obtenant une convergence plus rapide pendant la formation », note Kawahara. . « Nous pensons que notre conception permettra des BNN efficaces sur les appareils de pointe, tout en préservant leur capacité à apprendre et à s'adapter. »
Cette avancée pourrait ouvrir la voie à de puissants appareils IoT capables de tirer davantage parti de l’IA. Cela a des implications notables dans de nombreux domaines en développement rapide. Par exemple, les appareils portables de surveillance de la santé pourraient devenir plus efficaces, plus petits et plus fiables sans nécessiter une connectivité cloud à tout moment pour fonctionner. De la même manière, les maisons intelligentes seraient capables d’effectuer des tâches plus complexes et de fonctionner de manière plus réactive.
Dans ces cas d’utilisation et dans tous les autres cas d’utilisation possibles, la conception proposée pourrait également réduire la consommation d’énergie, contribuant ainsi aux objectifs de durabilité.
