Une équipe de recherche développe une architecture informatique photonique reconfigurable pour l’apprentissage tout au long de la vie
Les tâches d’intelligence artificielle (IA) sont devenues de plus en plus nombreuses et complexes, alimentées par des ensembles de données à grande échelle. Avec le plateau de la loi de Moore et la fin de l'échelle de Dennard, la consommation d'énergie devient un obstacle majeur à des applications plus répandues des modèles neuronaux profonds électroniques lourds d'aujourd'hui, en particulier dans les systèmes terminaux/périphériques.
La communauté recherche des modalités informatiques de nouvelle génération pour briser les contraintes physiques des implémentations électroniques de réseaux de neurones artificiels (ANN).
L’informatique photonique constitue une voie prometteuse pour surmonter les limites inhérentes à l’électronique et améliorer l’efficacité énergétique, la vitesse de traitement et le débit de calcul de plusieurs ordres de grandeur.
Ces propriétés extraordinaires ont été exploitées pour construire des architectures optiques spécifiques à des applications permettant de résoudre des problèmes fondamentaux de mathématiques et de traitement du signal avec des performances bien supérieures à celles des processeurs électroniques existants.
Malheureusement, les ONN existants souffrent d'un « oubli catastrophique » et sont toujours aux prises avec des tâches simples et ponctuelles. La raison principale est qu’ils héritent du problème répandu des systèmes informatiques conventionnels, qui ont tendance à former de nouveaux modèles qui interfèrent avec les connaissances acquises précédemment, oubliant rapidement l’expertise acquise lors de tâches précédemment apprises lorsqu’ils sont formés à quelque chose de nouveau.
Une telle approche ne parvient pas à exploiter pleinement les propriétés intrinsèques de parcimonie et de parallélisme de l’optique ondulatoire pour le calcul photonique, ce qui aboutit finalement à une faible capacité du réseau et à une évolutivité médiocre pour l’apprentissage multitâche.
Dans un article récent publié dans Lumière : science et applicationsune équipe de scientifiques dirigée par le professeur Lu Fang du laboratoire Sigma du département de génie électronique de l'université Tsinghua de Pékin, en Chine, et ses collègues ont développé L2ONN, une architecture informatique photonique reconfigurable pour l'apprentissage tout au long de la vie.
Les caractéristiques uniques de la lumière, de la rareté spatiale et du parallélisme multispectre ont été développées pour la première fois dans l'architecture informatique photonique, dotant les ONN d'une capacité d'apprentissage tout au long de la vie. Contrairement aux ONN existants qui tentent d'imiter les structures ANN, l'apprentissage photonique tout au long de la vie de L2ONN est initialement conçu en fonction de la nature physique de l'interaction lumière-matière, pour explorer pleinement les potentiels fonctionnels et de performance de l'optique ondulatoire dans le calcul photonique.
Bénéficiant de l'architecture informatique optique d'apprentissage tout au long de la vie proposée, des évaluations expérimentales sur les architectures en espace libre et sur puce démontrent que L2ONN montre son extraordinaire capacité d'apprentissage sur des dizaines de tâches difficiles, telles que la classification visuelle, la reconnaissance vocale et le diagnostic médical, prenant en charge divers nouveaux environnements.
L2ONN atteint une capacité jusqu'à 14 fois supérieure à celle des réseaux de neurones optiques existants, avec un rendement énergétique d'un ordre de grandeur supérieur à celui des réseaux de neurones artificiels électroniques représentatifs.
« Les humains possèdent la capacité unique d'absorber, d'apprendre et de mémoriser progressivement des connaissances. En particulier, les neurones et les synapses ne fonctionnent que lorsqu'il y a des tâches à accomplir, auxquelles participent deux mécanismes importants : la connectivité neuronale clairsemée et la neurocognition parallèlement axée sur les tâches. contribuer à la consolidation et à la récupération de la mémoire tout au long de la vie.
« En conséquence, dans les ONN, ces caractéristiques peuvent être naturellement promues des neurones biologiques aux neurones photoniques sur la base des propriétés intrinsèques de parcimonie et de parallélisme des opérateurs optiques.
« Une architecture optique imitant la structure et la fonction du cerveau humain démontre son potentiel pour atténuer les problèmes susmentionnés, ce qui présente plus d'avantages que les approches électroniques pour construire un système informatique viable pour l'apprentissage tout au long de la vie.
« Nous avons démontré que l'apprentissage photonique tout au long de la vie fournit une solution clé en main pour les applications d'IA réelles à grande échelle avec une évolutivité et une polyvalence sans précédent. Nous prévoyons que l'architecture neuromorphique proposée accélérera le développement d'un calcul photonique plus puissant en tant que support essentiel pour les machines avancées modernes. l'intelligence et vers le début d'une nouvelle ère de l'IA », ont déclaré les scientifiques.
Fourni par TranSpread
