Le système neuromorphe améliore la vision machine dans les environnements d’éclairage extrêmes

Une équipe de recherche a récemment développé un système neuromorphique de contrôle de l’exposition (NEC) qui améliore la vision industrielle sous des variations d’éclairage extrêmes.

Publié dans Communications de la naturece système d’inspiration biologique imite la vision périphérique humaine pour atteindre une vitesse et une robustesse sans précédent dans les environnements de perception dynamique. L’équipe de recherche était dirigée par le professeur Jia Pan et le professeur Yifan Evan Peng du Département d’informatique et du département de génie électrique et électronique de la Faculté d’ingénierie de l’Université de Hong Kong (HKU), en collaboration avec un chercheur à l’Australian National University.

Les systèmes traditionnels d’exposition automatique (AE) s’appuient sur la rétroaction itérative de l’image, créant un dilemme de poulet et d’oeuf qui échoue dans des changements de luminosité soudains (par exemple, tunnels, reflets). Le système NEC résout cela en intégrant des caméras d’événements – des capteurs qui capturent les changements de luminosité par pixels comme des « événements » asynchrones – avec un nouvel algorithme de double intégration (Tedi) d’événement trilinéaire. Cette approche: fonctionne à 130 millions d’événements / sec sur un seul CPU, permettant un déploiement Edge.

« Comme la façon dont nos élèves s’adaptent instantanément à la lumière, NEC imite la synergie biologique entre les voies rétiniennes », a expliqué Shijie Lin, le premier auteur de l’article. « En fusionnant les flux d’événements avec des mesures de lumière physiques, nous contournons les goulots d’étranglement traditionnels pour offrir une vision autochtone. »

Dans les tests, l’équipe a validé le NEC à travers les scénarios critiques de mission:

1. Conduite autonome: une meilleure précision de détection (carte + 47,3%) lorsque les véhicules sortent des tunnels en lumière aveuglante.
2. Réalité augmentée (AR): a atteint une estimation de la pose (PCK) de 11% plus élevée pour le suivi des mains sous des lampes chirurgicales.
3. Reconstruction 3D: SLAM continu activé dans des environnements surexposés où les méthodes conventionnelles échouent.
4. Assistance médicale AR: a maintenu une visualisation peropératoire claire malgré les ajustements dynamiques des projecteurs.

Le professeur Pan a déclaré: « Cette percée représente un saut significatif dans la vision industrielle en combler l’écart entre les principes biologiques et l’efficacité de calcul. Le système NEC aborde non seulement les limites du contrôle traditionnel de l’exposition, mais ouvre également la voie à des systèmes de vision plus adaptatifs et résilients dans les applications réelles, des véhicules autonomes aux robotiques médicales. »

Le professeur Peng a commenté: « Notre travail collaboratif a contribué à repousser les limites de l’ingénierie neuromorphique. En tirant parti des algorithmes de détection et de bio-inspirés des événements, nous avons créé un système qui n’est pas seulement plus rapide mais aussi plus robuste dans des conditions extrêmes.

À long terme, le paradigme NEC propose un nouveau schéma de traitement d’événements qui réduit la charge de traitement des événements / images à haute résolution et intègre des principes bio-plausibles dans le contrôle de bas niveau des yeux de la machine. Cela ouvre de nouvelles voies pour la conception de la caméra, le contrôle du système et les algorithmes en aval. Le succès de l’équipe dans l’incarnation de la synergie neuromorphe dans divers systèmes est une étape importante qui peut inspirer de nombreux pipelines de traitement optique / image / neuromorphiques et implique des implications économiques et pratiques directes pour l’industrie.