Une puce de vision de pointe apporte aux machines une perception semblable à celle de l'œil humain

Avec les progrès rapides de l’intelligence artificielle, les systèmes sans pilote tels que la conduite autonome et l’intelligence embarquée sont continuellement promus et appliqués dans des scénarios du monde réel, conduisant à une nouvelle vague de révolution technologique et de transformation industrielle. La perception visuelle, moyen essentiel d’acquisition d’informations, joue un rôle crucial dans ces systèmes intelligents. Cependant, parvenir à une perception visuelle efficace, précise et robuste dans des environnements dynamiques, diversifiés et imprévisibles reste un défi ouvert.

Dans les scénarios de monde ouvert, les systèmes intelligents doivent non seulement traiter de grandes quantités de données, mais également gérer divers événements extrêmes, tels que des dangers soudains, des changements drastiques de lumière aux entrées des tunnels et de fortes interférences de flash la nuit dans les scénarios de conduite.

Les puces de détection visuelle traditionnelles, contraintes par le « mur de puissance » et le « mur de bande passante », sont souvent confrontées à des problèmes de distorsion, de panne ou de latence élevée lorsqu'elles font face à ces scénarios, ce qui a un impact grave sur la stabilité et la sécurité du système.

Pour relever ces défis, le Centre de recherche informatique inspiré du cerveau (CBICR) de l'Université Tsinghua s'est concentré sur les technologies de détection de la vision inspirées du cerveau et a proposé un paradigme de détection complémentaire innovant comprenant une représentation primitive et deux voies visuelles complémentaires.

Le document de recherche basé sur ces résultats, « Une puce de vision avec des voies complémentaires pour la détection en monde ouvert », a été présenté comme article de couverture du Nature dans le numéro du 30 mai 2024.

Inspirée des principes fondamentaux du système visuel humain, cette approche décompose les informations visuelles en représentations visuelles primitives. En combinant ces primitives, il imite les caractéristiques du système visuel humain, formant deux voies de perception visuelle complémentaires et complètes en informations.

Sur la base de ce nouveau paradigme, le CBICR a développé la première puce de vision complémentaire inspirée du cerveau, Tianmouc. Cette puce permet une acquisition d'informations visuelles à grande vitesse à 10 000 images par seconde, une précision de 10 bits et une plage dynamique élevée de 130 dB, tout en réduisant la bande passante de 90 % et en maintenant une faible consommation d'énergie. Il surmonte non seulement les goulots d'étranglement des performances des paradigmes de détection visuelle traditionnels, mais gère également efficacement divers scénarios extrêmes, garantissant ainsi la stabilité et la sécurité du système.

En s'appuyant sur la puce Tianmouc, l'équipe a développé des logiciels et des algorithmes hautes performances et validé leurs performances sur une plateforme de perception montée sur véhicule fonctionnant dans des environnements ouverts. Dans divers scénarios extrêmes, le système a démontré une perception en temps réel à faible latence et haute performance, démontrant ainsi son immense potentiel pour des applications dans le domaine des systèmes intelligents sans pilote.

Le développement réussi de Tianmouc constitue une avancée significative dans le domaine des puces de détection visuelle. Non seulement il fournit un soutien technologique solide pour faire avancer la révolution intelligente, mais il ouvre également de nouvelles voies pour des applications cruciales telles que la conduite autonome et l’intelligence embarquée.

Combiné avec la base technologique établie du CBICR dans les puces informatiques inspirées du cerveau comme Tianjic, les chaînes d'outils et la robotique inspirée du cerveau, l'ajout de Tianmouc améliorera encore l'écosystème de l'intelligence inspirée du cerveau, stimulant puissamment le progrès de l'intelligence artificielle générale.