Tunnelisation quantique pour stimuler la consolidation de la mémoire dans l’IA

L’intelligence artificielle et l’apprentissage automatique ont fait d’énormes progrès au cours des dernières années, y compris le lancement récent de ChatGPT et de générateurs d’art, mais une chose qui reste en suspens est un moyen économe en énergie de générer et de stocker des souvenirs à long et à court terme à un facteur de forme comparable à un cerveau humain. Une équipe de chercheurs de la McKelvey School of Engineering de l’Université de Washington à St. Louis a mis au point un moyen économe en énergie pour consolider les souvenirs à long terme sur une minuscule puce.

Shantanu Chakrabartty, professeur Clifford W. Murphy au département de génie électrique et des systèmes de Preston M. Green, et les membres de son laboratoire ont développé un appareil relativement simple qui imite la dynamique des synapses du cerveau, des connexions entre les neurones qui permettent aux signaux de transmettre des informations. . Les synapses artificielles utilisées dans de nombreux systèmes d’IA modernes sont relativement simples, alors que les synapses biologiques peuvent potentiellement stocker des souvenirs complexes en raison d’une interaction exquise entre différentes voies chimiques.

Le groupe de Chakrabartty a montré que leur synapse artificielle pouvait également imiter certaines de ces dynamiques qui peuvent permettre aux systèmes d’IA d’apprendre en continu de nouvelles tâches sans oublier comment effectuer d’anciennes tâches. Les résultats de la recherche ont été publiés le 13 janvier dans Frontières en neurosciences.

Pour ce faire, l’équipe de Chakrabartty a construit un dispositif qui fonctionne comme deux réservoirs d’électrons couplés où les électrons peuvent circuler entre les deux chambres via une jonction, ou synapse artificielle. Pour créer cette jonction, ils ont utilisé l’effet tunnel quantique, un phénomène qui permet à un électron de traverser magiquement une barrière. Plus précisément, ils ont utilisé l’effet tunnel quantique de Fowler-Nordheim (FN), dans lequel les électrons sautent à travers une barrière triangulaire et, ce faisant, modifient la forme de la barrière. Le tunneling FN fournit une connexion beaucoup plus simple et plus économe en énergie que les méthodes existantes qui sont trop complexes pour la modélisation informatique.

« La beauté de cela est que nous pouvons contrôler cet appareil jusqu’à un seul électron parce que nous avons précisément conçu cette barrière mécanique quantique », a déclaré Chakrabartty.

Chakrabartty et les doctorants Mustafizur Rahman et Subhankar Bose ont conçu un prototype de réseau de 128 de ces sabliers sur une puce de moins d’un millimètre.

« Notre travail montre que le fonctionnement de la synapse FN est presque optimal en termes de durée de vie synaptique et de propriétés de consolidation spécifiques », a déclaré Chakrabartty. « Ce dispositif de synapse artificielle peut résoudre ou mettre en œuvre certaines de ces tâches d’apprentissage continu où l’appareil n’oublie pas ce qu’il a appris auparavant. Désormais, il permet une mémoire à long terme et à court terme sur le même appareil. »

Chakrabartty a déclaré que parce que l’appareil n’utilise que quelques électrons à la fois, il utilise très peu d’énergie dans l’ensemble.

« La plupart de ces ordinateurs utilisés pour des tâches d’apprentissage automatique transportent beaucoup d’électrons de la batterie, les stockent sur un condensateur, puis les vident et ne les recyclent pas », a déclaré Chakrabartty. « Dans notre modèle, nous fixons à l’avance la quantité totale d’électrons et n’avons pas besoin d’injecter d’énergie supplémentaire car les électrons sortent par la physique elle-même. En s’assurant que seuls quelques électrons circulent à la fois, nous pouvons rendre cet appareil travailler pendant de longues périodes. »

Le travail fait partie de la recherche que Chakrabartty et les membres de son laboratoire font pour rendre l’IA plus durable. L’énergie requise pour les calculs d’IA actuels augmente de façon exponentielle, la prochaine génération de modèles nécessitant près de 200 térajoules pour former un système. Et ces systèmes ne sont même pas près d’atteindre la capacité du cerveau humain, qui compte près de 1 000 billions de synapses.

« Pour le moment, nous ne sommes pas sûrs des systèmes d’entraînement avec même un demi-billion de paramètres, et les approches actuelles ne sont pas durables sur le plan énergétique », a-t-il déclaré. « Si nous restons sur la trajectoire sur laquelle nous nous trouvons, soit quelque chose de nouveau doit se produire pour fournir suffisamment d’énergie, soit nous devons trouver comment entraîner ces grands modèles à l’aide de ces dispositifs à mémoire dynamique économes en énergie. »