Une approche pour réaliser le calcul dynamique dans les capteurs et faire progresser la vision par ordinateur

Les progrès rapides des techniques d’apprentissage automatique et des dispositifs de détection au cours des dernières décennies ont ouvert de nouvelles possibilités pour la détection et le suivi d’objets, d’animaux et de personnes. La détection précise et automatisée de cibles visuelles, également appelée vision industrielle intelligente, peut avoir diverses applications, allant de l'amélioration des outils de sécurité et de surveillance à la surveillance environnementale et à l'analyse des données d'imagerie médicale.

Même si les outils de vision industrielle ont obtenu des résultats très prometteurs, leurs performances diminuent souvent dans des conditions de faible éclairage ou lorsque la visibilité est limitée. Pour détecter et suivre efficacement les cibles sombres, ces outils devraient être capables d'extraire de manière fiable des caractéristiques telles que les bords et les coins des images, que les capteurs conventionnels basés sur la technologie complémentaire métal-oxyde-semi-conducteur (CMOS) sont souvent incapables de capturer.

Des chercheurs de l’Université de Nanjing et de l’Académie chinoise des sciences ont récemment introduit une nouvelle approche pour développer des capteurs capables de mieux détecter des cibles sombres dans des environnements complexes. Leur approche, décrite dans Électronique naturellerepose sur la réalisation d'un calcul dynamique intégré au capteur, fusionnant ainsi les capacités de détection et de traitement en un seul appareil.

« Dans les environnements optiques à faible contraste, la perception intelligente des cibles faibles a toujours été confrontée à de sérieux défis en termes de faible précision et de faible robustesse », a déclaré Shi-Jun Liang, auteur principal de l'article, à Tech Xplore. « Cela est principalement dû à la faible différence d'intensité entre les signaux lumineux de la cible et de fond, le signal cible étant presque immergé dans le bruit de fond. »

Les techniques conventionnelles de détection photoélectrique statique de cibles dans les images, indépendantes des pixels, reposent sur des capteurs basés sur la technologie CMOS. Même si certaines de ces techniques ont donné de meilleurs résultats que d’autres, elles ne permettent souvent pas de distinguer avec précision les signaux cibles des signaux de fond.

Ces dernières années, les informaticiens ont donc tenté de concevoir de nouveaux principes pour le développement de matériels basés sur des matériaux de faible dimension créés à l'aide de techniques de croissance et de traitement matures, également compatibles avec la technologie CMOS conventionnelle à base de silicium. L’objectif principal de ces efforts de recherche est d’obtenir une robustesse et une précision plus élevées dans des environnements optiques à faible contraste.

« Nous avons travaillé sur la technologie du calcul intégré aux capteurs et publié quelques travaux intéressants sur le traitement convolutif optoélectronique, qui est essentiellement basé sur le traitement statique », a expliqué Liang. « Nous nous sommes demandés si nous pouvions introduire le contrôle dynamique dans la technologie informatique optoélectronique du capteur pour améliorer la capacité de calcul du capteur. En nous appuyant sur cette idée, nous avons proposé le concept de calcul dynamique dans le capteur en exploitant les pixels voisins de manière de manière corrélée et a démontré son application prometteuse dans des environnements d'éclairage complexes.

Dans leur récent article, Feng Miao, Liang et leurs collègues ont présenté une nouvelle approche informatique dynamique intégrée au capteur conçue pour détecter et suivre des cibles sombres dans des conditions d'éclairage défavorables. Cette approche repose sur des dispositifs photoélectriques multiterminaux basés sur des hétérostructures multidimensionnelles graphène/germanium, qui sont combinées pour créer un seul capteur.

« En contrôlant dynamiquement la force de corrélation entre les dispositifs adjacents dans le capteur optoélectronique, nous pouvons réaliser une modulation dynamique des poids du noyau de convolution basée sur les gradients d'intensité de l'image locale et mettre en œuvre des unités de calcul dynamiques dans le capteur adaptables au contenu de l'image », a déclaré Miao.

« Contrairement au capteur conventionnel dans lequel les appareils fonctionnent indépendamment, les appareils de notre technologie informatique dynamique intégrée au capteur sont corrélés pour détecter et suivre les cibles faibles, ce qui permet une reconnaissance ultra-précise et robuste des cibles à contraste variable dans un éclairage complexe. environnements. »

Miao, Liang et leurs collègues sont les premiers à introduire un paradigme informatique intégré au capteur qui repose sur le contrôle par rétroaction dynamique entre des dispositifs optoélectroniques interconnectés et voisins, basé sur des hétérostructures multidimensionnelles multi-terminales. Les premiers tests ont révélé que l'approche proposée est très prometteuse, car elle permet un suivi robuste du suivi de la luminosité dans des conditions d'éclairage défavorables.

« Par rapport à la convolution optoélectronique conventionnelle dont les poids du noyau sont constants quelles que soient les entrées d'images optiques, les poids de notre « noyau dynamique » sont corrélés au contenu de l'image locale, ce qui rend le capteur plus flexible, adaptable et intelligent », a déclaré Miao. « Le contrôle dynamique et la programmation corrélée permettent également d'incorporer des approches de rétropropagation de réseaux neuronaux convolutifs dans le capteur frontal. »

Notamment, les dispositifs utilisés par Miao, Liang et leurs collègues pour mettre en œuvre leur approche sont basés sur le graphène et le germanium, deux matériaux compatibles avec la technologie CMOS conventionnelle et pouvant facilement être produits à grande échelle. À l’avenir, l’approche des chercheurs pourrait être évaluée dans divers contextes réels, afin de valider davantage son potentiel.

« La prochaine étape de cette recherche consistera à valider l'évolutivité du calcul dynamique intégré aux capteurs grâce à une intégration à grande échelle sur puce, et de nombreux problèmes d'ingénierie et techniques doivent encore être résolus », a ajouté Liang.

« L'extension de la longueur d'onde de détection aux bandes du proche infrarouge ou même du moyen infrarouge est une autre direction de recherche future, qui élargira l'applicabilité à divers scénarios à faible contraste tels que la télédétection, l'imagerie médicale, la surveillance, la sécurité et l'alerte précoce par faible visibilité. conditions météorologiques. »