Le schéma informatique accélère l'apprentissage automatique tout en améliorant l'efficacité énergétique des opérations de données traditionnelles
Les modèles d’intelligence artificielle (IA) comme ChatGPT fonctionnent sur des algorithmes et ont un grand appétit pour les données, qu’ils traitent via l’apprentissage automatique, mais qu’en est-il des limites de leurs capacités de traitement des données ? Des chercheurs dirigés par le professeur Sun Zhong de l'École des circuits intégrés et de l'Institut d'intelligence artificielle de l'Université de Pékin ont entrepris de résoudre le goulot d'étranglement de von Neumann qui limite le traitement des données.
Dans leur article publié dans la revue Appareil le 12 septembre 2024, l'équipe a développé le système dual-IMC (in-memory computing), qui non seulement accélère le processus d'apprentissage automatique, mais améliore également l'efficacité énergétique des opérations de données traditionnelles.
Lors de la création d'algorithmes, les ingénieurs logiciels et les informaticiens s'appuient sur des opérations de données connues sous le nom de multiplication matricielle-vecteur (MVM), qui prennent en charge les réseaux de neurones. Un réseau neuronal est une architecture informatique souvent présente dans les modèles d’IA qui imite le fonctionnement et la structure d’un cerveau humain.
À mesure que l'échelle des ensembles de données augmente rapidement, les performances informatiques sont souvent limitées par le mouvement des données et l'inadéquation de la vitesse entre le traitement et le transfert des données. C’est ce qu’on appelle le goulot d’étranglement de von Neumann. La solution conventionnelle est un système informatique en mémoire unique (IMC unique), dans lequel les pondérations du réseau neuronal sont stockées dans la puce mémoire tandis que les entrées (telles que les images) sont fournies en externe.
Cependant, l'inconvénient de l'IMC unique réside dans le basculement entre le transport de données sur puce et hors puce, ainsi que dans l'utilisation de convertisseurs numérique-analogique (DAC), qui entraînent une empreinte de circuit importante et une consommation d'énergie élevée.
Pour exploiter pleinement le potentiel du principe IMC, l'équipe a développé un schéma double IMC qui stocke à la fois le poids et l'entrée d'un réseau neuronal dans la matrice mémoire, effectuant ainsi des opérations de données entièrement en mémoire.
L’équipe a ensuite testé le double IMC sur des dispositifs de mémoire vive résistive (RRAM) pour la récupération du signal et le traitement des images. Voici quelques avantages du schéma double IMC lorsqu'il est appliqué aux opérations MVM :
- Une plus grande efficacité est obtenue grâce aux calculs entièrement en mémoire, ce qui permet d'économiser du temps et de l'énergie grâce à la mémoire vive dynamique (DRAM) hors puce et à la mémoire vive statique (SRAM) sur puce.
- Les performances informatiques sont optimisées car le mouvement des données, qui était un facteur limitant, est éliminé grâce à une méthode entièrement en mémoire.
- Coût de production inférieur grâce à l’élimination des DAC, requis dans le système IMC unique. Cela signifie également des économies sur la surface de la puce, la latence de calcul et les besoins en énergie.
Avec une demande croissante en matière de traitement des données à l'ère numérique d'aujourd'hui, les découvertes réalisées dans le cadre de cette recherche pourraient entraîner de nouvelles percées dans l'architecture informatique et l'intelligence artificielle.
