L’informatique photonique a besoin de plus de non-linéarité: l’acoustique peut aider

Les réseaux de neurones sont une structure typique sur laquelle l’intelligence artificielle peut être basée. Le terme «neuronal» décrit leur capacité d’apprentissage, qui dans une certaine mesure imite le fonctionnement des neurones dans notre cerveau. Pour pouvoir travailler, plusieurs ingrédients clés sont nécessaires: l’un d’eux est une fonction d’activation qui introduit la non-linéarité dans la structure.

Une fonction d’activation photonique présente des avantages importants pour la mise en œuvre de réseaux de neurones optiques basés sur la propagation de la lumière. Les chercheurs du groupe de recherche Stiller du MPL et du LUH en collaboration avec le MIT ont maintenant montré expérimentalement une fonction d’activation par optiquement basée sur les ondes sonores.

Il convient à une large gamme d’approches de réseau neuronal optique et permet un fonctionnement dans la dimension dite de fréquence synthétique. L’œuvre est publiée dans la revue Nanophotonique.

L’intelligence artificielle (IA) est largement utilisée et conçue pour augmenter les compétences humaines telles que l’analyse des données, la génération de texte et la reconnaissance d’image. Ses performances ont dépassé celle des humains dans de nombreux domaines, par exemple en termes de vitesse. Les tâches qui prendraient plusieurs heures de travail lorsqu’ils sont effectuées manuellement peuvent être effectuées en quelques secondes.

Entre autres options, l’IA peut être basée sur des réseaux de neurones artificiels inspirés du cerveau. Semblable aux neurones du cerveau humain, les nœuds des réseaux de neurones sont liés dans une structure très complexe. Actuellement, ils sont le plus souvent mis en œuvre à l’aide de connexions numériques.

Une expérience récente dans la formation de l’intelligence artificielle telle que les modèles de grands langues a clairement indiqué que leur consommation d’énergie est vaste et augmentera de façon exponentielle au cours des prochaines années. Par conséquent, les scientifiques recherchent de manière intensive une solution et envisagent différents systèmes physiques qui pourraient supporter ou remplacer partiellement les systèmes électroniques pour certaines tâches. Ces réseaux pourraient être basés sur des matériaux optiques, sur des structures de molécules, sur des brins d’ADN ou même le développement de structures de champignons.

L’optique et la photonique présentent de nombreux avantages par rapport aux systèmes électroniques conventionnels

L’optique et la photonique ont l’avantage de bande passantes élevées et de codage d’informations dans des symboles à haute dimension – les deux raisons de l’accélération de notre système de communication. Les systèmes photoniques sont déjà assez avancés et permettent souvent un traitement parallèle et une connexion à des systèmes établis tels que Internet mondial à base de fibres optiques. Lors de la mise à l’échelle, la photonique tient également la promesse d’une consommation d’énergie plus faible pour des problèmes complexes.

Maintenant, les groupes de recherche exploitent ces ressources et connaissances pour mettre en œuvre des réseaux de neurones optiques de différentes manières. Cependant, de nombreux défis clés doivent être relevés, par exemple, la mise à l’échelle du matériel photonique et la reconfigurabilité des réseaux neuronaux.

Fonction d’activation contrôlée par optique basée sur des ondes sonores démontrées pour la première fois

Des chercheurs du laboratoire de Stiller travaillent sur l’optoacoustique et spécifiquement sur le défi des réseaux de neurones optiques médiés par des ondes acoustiques. Pour la mise à l’échelle des réseaux de neurones optiques, ils ont maintenant développé une fonction d’activation qui peut être contrôlée tous optiquement. Les informations n’ont pas besoin d’être converties de l’optique au domaine électronique.

Cette évolution est une étape importante pour l’informatique photonique, une alternative de calcul analogique physique qui promet de pouvoir réaliser l’intelligence artificielle économe en énergie à long terme.

Une forme simple d’un réseau neuronal se compose d’une somme pondérée de bits des informations entrantes et d’une fonction d’activation non linéaire. La fonction d’activation non linéaire est essentielle pour que les modèles d’apprentissage en profondeur apprennent à résoudre des tâches complexes.

Dans les réseaux de neurones optiques, ces parties sont également implémentées dans le domaine photonique. Pour la somme pondérée – un opérateur matriciel – une pléthore d’approches photoniques existent déjà. Ce n’est pas le cas pour la fonction d’activation non linéaire, pour laquelle peu d’approches ont été démontrées expérimentalement.

« La perspective à long terme de créer des réseaux de neurones optiques plus économes en énergie dépend de savoir si nous sommes en mesure d’élargir les systèmes informatiques physiques, un processus potentiellement facilité par une fonction d’activation photonique », explique Birgit Stiller, chef du groupe de recherche « Quantum Optoacoustics ».

Une fonction d’activation non linéaire photonique est l’équivalent optique des fonctions d’activation non linéaire utilisées dans les réseaux de neurones artificiels, mais implémentés à l’aide de dispositifs photoniques au lieu de l’électronique. Il introduit la non-linéarité dans les systèmes informatiques photoniques, permettant des réseaux neuronaux entièrement optiques et des accélérateurs d’apprentissage automatique optiques. Des exemples de fonctions d’activation sont les fonctions relu, sigmoïde ou TANH et ils peuvent transformer la somme pondérée des entrées en un réseau neuronal artificiel.

Ondes sonores comme médiateur pour une fonction d’activation photonique efficace

Les scientifiques du groupe de recherche Stiller à l’Institut Max Planck pour la science de la lumière et l’Université de Leibniz Hanovre, en collaboration avec Dirk Englund du MIT, ont maintenant démontré que les ondes sonores peuvent être le médiateur d’une fonction d’activation photonique efficace.

Les informations optiques n’ont pas à quitter le domaine optique et sont directement traitées dans les fibres optiques ou les guides d’ondes photoniques. Via l’effet de la diffusion stimulée du brillouine, les informations d’entrée optiques subissent un changement non linéaire en fonction du niveau d’intensité optique.

« Notre fonction d’activation photonique peut être réglée de manière polyvalente: nous montrons la mise en œuvre d’une fonction sigmoïde, relu et quadratique et le concept permet également des fonctions plus exotiques à la demande, si nécessaire pour certains types de tâches », explique l’un des deux auteurs principaux Grigorii Slinkov.

L’autre auteur principal, Steven Becker, ajoute: « Un avantage intéressant provient d’une règle stricte de correspondance de phase dans la diffusion stimulée de Brillouin: différentes fréquences optiques – pour l’informatique parallèle – peuvent être traitées individuellement, ce qui peut améliorer les performances de calcul du réseau neuronal. »

L’inclusion d’une fonction d’activation photonique dans un réseau neuronal optique préserve la bande passante des données optiques, évite la conversion électro-optique et maintient la cohérence du signal. Le contrôle polyvalent de la fonction d’activation non linéaire à l’aide d’ondes sonores permet la mise en œuvre du schéma dans les systèmes de fibres optiques existants ainsi que les puces photoniques.