Un capteur visuel neuromorphique peut reconnaître des objets en mouvement et prédire leur trajectoire

Un capteur visuel neuromorphique peut reconnaître des objets en mouvement et prédire leur trajectoire

Les capteurs conventionnels ne capturent qu’un seul instant dans une image, mais le nouveau capteur peut lire des informations sur le passé et les utiliser pour prédire l’avenir. Crédit : Hongwei Tan / Université Aalto

Un nouveau capteur bio-inspiré peut reconnaître des objets en mouvement dans une seule image à partir d’une vidéo et prédire avec succès où ils se déplaceront. Ce capteur intelligent, décrit dans un Communication Nature papier, sera un outil précieux dans une gamme de domaines, y compris la détection de vision dynamique, l’inspection automatique, le contrôle des processus industriels, le guidage robotique et la technologie de conduite autonome.

Les systèmes de détection de mouvement actuels nécessitent de nombreux composants et algorithmes complexes effectuant des analyses image par image, ce qui les rend inefficaces et énergivores. Inspirés par le système visuel humain, des chercheurs de l’Université Aalto ont développé une nouvelle technologie de vision neuromorphique qui intègre la détection, la mémoire et le traitement dans un seul appareil capable de détecter les mouvements et de prédire les trajectoires.

Au cœur de leur technologie se trouve un réseau de photomemristors, des dispositifs électriques qui produisent du courant électrique en réponse à la lumière. Le courant ne s’arrête pas immédiatement lorsque la lumière est éteinte. Au lieu de cela, il se désintègre progressivement, ce qui signifie que les photomémristors peuvent effectivement « se souvenir » s’ils ont été exposés à la lumière récemment. Ainsi, un capteur constitué d’un réseau de photomémristors ne se contente pas d’enregistrer des informations instantanées sur une scène, comme le fait une caméra, mais intègre également une mémoire dynamique des instants précédents.

« La propriété unique de notre technologie est sa capacité à intégrer une série d’images optiques dans une seule image », explique Hongwei Tan, le chercheur qui a dirigé l’étude. « Les informations de chaque image sont intégrées dans les images suivantes en tant qu’informations cachées. En d’autres termes, la dernière image d’une vidéo contient également des informations sur toutes les images précédentes. Cela nous permet de détecter le mouvement plus tôt dans la vidéo en analysant uniquement l’image finale. avec un simple réseau de neurones artificiels. Le résultat est une unité de détection compacte et efficace. »

Pour démontrer la technologie, les chercheurs ont utilisé des vidéos montrant les lettres d’un mot une à la fois. Parce que tous les mots se terminaient par la lettre « E », l’image finale de toutes les vidéos se ressemblait. Les capteurs de vision conventionnels ne pouvaient pas dire si le « E » sur l’écran était apparu après les autres lettres de « APPLE » ou « GRAPE ». Mais le réseau de photomemristors pouvait utiliser des informations cachées dans l’image finale pour déduire quelles lettres l’avaient précédée et prédire ce qu’était le mot avec une précision de près de 100 %.

Dans un autre test, l’équipe a montré les vidéos du capteur d’une personne simulée se déplaçant à trois vitesses différentes. Non seulement le système était capable de reconnaître le mouvement en analysant une seule image, mais il prédisait également correctement les images suivantes.

La détection précise des mouvements et la prédiction de la position d’un objet sont essentielles pour la technologie de conduite autonome et le transport intelligent. Les véhicules autonomes ont besoin de prédictions précises sur la façon dont les voitures, les vélos, les piétons et d’autres objets se déplaceront afin de guider leurs décisions. En ajoutant un système d’apprentissage automatique au réseau de photomemristors, les chercheurs ont montré que leur système intégré peut prédire les mouvements futurs en se basant sur le traitement dans le capteur d’une trame entièrement informative.

« La reconnaissance et la prédiction de mouvement par notre mémoire compacte intégrée au capteur et notre solution informatique offrent de nouvelles opportunités dans la robotique autonome et les interactions homme-machine », déclare le professeur Sebastiaan van Dijken. « Les informations dans le cadre que nous obtenons dans notre système à l’aide de photomémristors évitent les flux de données redondants, permettant une prise de décision économe en énergie en temps réel. »

Fourni par l’Université Aalto