Les réseaux de neurones optiques sont prometteurs pour le traitement d’images

Les chercheurs de Cornell ont développé un réseau neuronal optique (ONN) qui peut filtrer les informations pertinentes d’une scène avant que l’image visuelle ne soit détectée par une caméra, une méthode qui peut permettre de construire des capteurs d’image plus rapides, plus petits et plus économes en énergie.

Dans « Image Sensing with Multilayer, Nonlinear Optical Neural Networks », publié dans Photonique de la naturedes chercheurs du laboratoire de Peter McMahon, professeur adjoint de physique appliquée et d’ingénierie à Cornell Engineering, ont pu démontrer que les préprocesseurs ONN peuvent atteindre des taux de compression allant jusqu’à 800 pour 1, soit l’équivalent de la compression d’un 1 600- saisie de pixels à seulement 4 pixels, tout en permettant une grande précision sur plusieurs tâches de vision par ordinateur représentatives.

Dirigés par Tianyu Wang, chercheur postdoctoral Eric et Wendy Schmidt AI en sciences, et doctorant Mandar Sohoni, les chercheurs ont testé le capteur d’image ONN avec des repères de vision artificielle, l’ont utilisé pour classer les images cellulaires dans les cytomètres en flux et ont démontré sa capacité mesurer et identifier des objets dans des scènes 3D.

La différence entre les systèmes numériques et un réseau neuronal optique est qu’avec les systèmes numériques, les images sont d’abord enregistrées puis envoyées à un processeur électronique numérique qui extrait les informations. Un tel traitement électronique est consommateur d’énergie et, plus important encore, nécessite beaucoup plus de temps pour que les données soient traitées et interprétées.

« Notre configuration utilise un réseau de neurones optiques, où la lumière entrant dans le capteur est d’abord traitée par une série de multiplications matrice-vecteur qui compresse les données à la taille minimale nécessaire, dans ce cas, quatre pixels », a déclaré Wang. « Ceci est similaire au fonctionnement de la vision humaine : nous remarquons et nous souvenons des principales caractéristiques de ce que nous voyons, mais pas de tous les détails sans importance. En supprimant les informations non pertinentes ou redondantes, un ONN peut rapidement trier les informations importantes, produisant une représentation compressée de les données d’origine, qui peuvent avoir un rapport signal/bruit plus élevé par pixel de caméra. »

Le groupe a également testé la reconstruction de l’image originale à l’aide des données générées par les encodeurs ONN qui ont été formés uniquement pour classer l’image.

« Les images reconstruites ont conservé des caractéristiques importantes, suggérant que les données compressées contenaient plus d’informations que la simple classification », a déclaré Wang. « Bien qu’il ne soit pas parfait, ce résultat était passionnant, car il suggère qu’avec une meilleure formation et des modèles améliorés, l’ONN pourrait donner des résultats plus précis. »

Wang et Sohoni pensent que leurs travaux pourraient avoir des applications pratiques dans des domaines tels que la recherche sur la détection précoce du cancer, où les cellules cancéreuses doivent être isolées de millions ou de milliards d’autres cellules. En utilisant la cytométrie en flux, les cellules s’écoulent rapidement devant un détecteur dans un canal d’écoulement microfluidique. Un ONN qui a été formé pour identifier les caractéristiques physiques des cellules cancéreuses peut rapidement détecter et isoler ces cellules instantanément.

« Pour générer un échantillon robuste de cellules qui résisterait à une analyse statistique, vous devez traiter probablement 100 millions de cellules », a déclaré Sohoni. « Dans cette situation, le test est très spécifique et un réseau de neurones optiques peut être formé pour permettre au détecteur de traiter ces cellules très rapidement, ce qui générera un ensemble de données plus grand et meilleur. »

Sohoni a déclaré que les ONN peuvent également être utiles dans des situations où une détection ou un calcul à très faible puissance est nécessaire. Par exemple, la détection d’images sur un satellite dans l’espace nécessiterait un appareil qui consomme très peu d’énergie. Dans ce scénario, la capacité des ONN à compresser les informations spatiales peut être combinée avec la capacité des caméras événementielles à compresser les informations temporelles, puisque ces dernières ne se déclenchent que lorsque le signal d’entrée change.