La recherche examine la perception visuelle et l’inférence dans les capteurs
Une équipe de recherche conjointe en Chine a rédigé une étude sur l’informatique visuelle intégrée aux capteurs, une solution matérielle trois-en-un plus efficace, plus économique et plus sécurisée que les systèmes de vision industrielle conventionnels, qui collectent, stockent et interprètent les signaux visuels sur du matériel distinct. unités. Cette revue a été publiée dans Informatique intelligente.
Les systèmes informatiques visuels intégrés aux capteurs s’inspirent de la manière dont les humains et d’autres mammifères collectent, extraient et traitent les signaux visuels, un mécanisme biologique complexe présentant une faible latence et un faible coût énergétique. En intégrant la détection, le stockage et le calcul sur le plan focal des capteurs d’images, les systèmes informatiques visuels intégrés aux capteurs traitent les données de chaque capteur et extraient uniquement les informations critiques des signaux bruts, plutôt que de traiter des données d’image entières comme les systèmes conventionnels.
Ils ont donc le potentiel de surmonter les trois obstacles majeurs – latence élevée, consommation d’énergie élevée et risques liés à la vie privée – qui entravent le développement ultérieur de leurs homologues conventionnels.
Le développement de dispositifs informatiques intégrés aux capteurs s’est concentré sur de nouvelles conceptions de circuits et de nouveaux matériaux. L’examen se concentre sur une puce de vision avec une nouvelle conception de circuit appelée matrice de processeurs de pixels SCAMP ou puce SCAMP, qui est relativement mature parmi les capteurs émergents et « une plate-forme de recherche interdisciplinaire et fertile » pour la recherche pertinente. Développés pour la première fois il y a vingt ans, les capteurs-processeurs à plan focal en constante amélioration, comme la puce SCAMP, ont été largement utilisés dans des expériences informatiques, mais n’ont pas été étudiés de manière approfondie.
Les auteurs présentent d’abord le système le plus récent basé sur la puce SCAMP, SCAMP-5d. Il s’agit d’un système polyvalent, programmable et extrêmement parallèle, largement utilisé en robotique et en vision par ordinateur. Des outils logiciels et des plates-formes développés pour la puce SCAMP sont également présentés, notamment des cadres de développement pour programmer la puce, des plates-formes semi-simulées et entièrement simulées pour simuler les opérations de la puce et des compilateurs de filtres de noyau pour optimiser les algorithmes de traitement visuel.
Ensuite, les auteurs donnent un aperçu des algorithmes et des applications de calcul visuel intégré au capteur basés sur la puce polyvalente SCAMP. Ils étudient des algorithmes allant des techniques de traitement d’images de niveau inférieur, telles que l’amélioration de l’image et l’extraction de caractéristiques, aux tâches de niveau supérieur telles que la classification, la localisation et la segmentation à l’aide de réseaux neuronaux. Les applications permises par ces algorithmes sont principalement l’estimation d’état et la navigation de robots.
Bien que les systèmes informatiques visuels intégrés aux capteurs utilisant la matrice de processeurs de pixels SCAMP aient apporté des avancées technologiques considérables, ils présentent encore des limites telles qu’une faible résolution, des ressources informatiques limitées, du bruit et une conception et un déploiement d’algorithmes insatisfaisants. Compensant les limitations actuelles tout en explorant d’autres méthodes informatiques non conventionnelles telles que la fusion de capteurs et l’informatique de pointe, les ingénieurs et les chercheurs des systèmes de vision SCAMP de nouvelle génération tentent de transformer ces obstacles en opportunités.
Les auteurs eux-mêmes sont activement impliqués dans le « co-développement et la co-optimisation de la conception de circuits, des technologies d’intégration et des algorithmes associés » à des fins académiques et commerciales. Ils pensent que les systèmes de vision SCAMP de nouvelle génération afficheront de meilleures performances avec une consommation d’énergie inférieure.
Les auteurs sont Yanan Liu de l’Université de Shanghai, Rui Fan de l’Université Tongji, Jianglong Guo de l’Institut de technologie de Harbin, Hepeng Ni de l’Université Shandong Jianzhu et M. Usman Maqboo Bhutta de l’Université chinoise de Hong Kong.
Fourni par l’informatique intelligente
