Donner aux robots une vision surhumaine grâce aux signaux radio

Dans la course au développement de systèmes de perception robustes pour les robots, un défi persistant a été de fonctionner dans des conditions météorologiques défavorables et difficiles. Par exemple, les capteurs de vision traditionnels basés sur la lumière, tels que les caméras ou le LiDAR (Light Detection And Ranging), échouent en cas de fumée et de brouillard épais.

Cependant, la nature a montré que la vision ne doit pas nécessairement être limitée par les limites de la lumière : de nombreux organismes ont développé des façons de percevoir leur environnement sans dépendre de la lumière. Les chauves-souris naviguent en utilisant les échos des ondes sonores, tandis que les requins chassent en détectant les champs électriques générés par les mouvements de leurs proies.

Les ondes radio, dont les longueurs d’onde sont plusieurs fois plus longues que les ondes lumineuses, peuvent mieux pénétrer la fumée et le brouillard, et peuvent même voir à travers certains matériaux – toutes capacités dépassant la vision humaine. Pourtant, les robots s’appuient traditionnellement sur une boîte à outils limitée : ils utilisent soit des caméras et des LiDAR, qui fournissent des images détaillées mais échouent dans des conditions difficiles, soit des radars traditionnels, qui peuvent voir à travers les murs et autres occultations mais produisent des images grossières à faible résolution.

Une nouvelle façon de voir

Aujourd'hui, des chercheurs de l'École d'ingénierie et de sciences appliquées de l'Université de Pennsylvanie (Penn Engineering) ont développé PanoRadar, un nouvel outil permettant de donner aux robots une vision surhumaine en transformant de simples ondes radio en vues 3D détaillées de l'environnement.

« Notre question initiale était de savoir si nous pouvions combiner le meilleur des deux modalités de détection », explique Mingmin Zhao, professeur adjoint en informatique et sciences de l'information. « La robustesse des signaux radio, qui résistent au brouillard et à d'autres conditions difficiles, et la haute résolution des capteurs visuels. »

Dans un article qui sera présenté lors de la Conférence internationale sur l'informatique mobile et les réseaux (MobiCom 2024), qui s'est tenue du 18 au 22 novembre à Washington DC, Zhao et son équipe décrivent comment PanoRadar exploite les ondes radio et l'intelligence artificielle (IA) pour permettre aux robots de naviguer. même dans les environnements les plus difficiles, comme les bâtiments enfumés ou les routes brumeuses.

L'équipe, du laboratoire sans fil, audio, vision et électronique pour la détection (WAVES) et du centre Penn Research In Embedded Computing and Integrated Systems Engineering (PRECISE), comprend l'étudiant au doctorat Haowen Lai, le récent diplômé de maîtrise Gaoxiang Luo et l'assistant de recherche de premier cycle. Yifei (Freddy) Liu.

Tournant comme un phare

PanoRadar est un capteur qui fonctionne comme un phare qui balaie son faisceau en cercle pour balayer tout l'horizon. Le système consiste en un réseau vertical rotatif d’antennes qui scanne son environnement. En tournant, ces antennes envoient des ondes radio et écoutent leurs réflexions sur l'environnement, un peu comme le faisceau d'un phare révèle la présence de navires et d'éléments côtiers.

Grâce à la puissance de l'IA, PanoRadar va au-delà de cette simple stratégie de scanning. Contrairement à un phare qui éclaire simplement différentes zones lors de sa rotation, PanoRadar combine intelligemment les mesures sous tous les angles de rotation pour améliorer la résolution de son imagerie. Bien que le capteur lui-même ne représente qu'une fraction du coût des systèmes LiDAR généralement coûteux, cette stratégie de rotation crée un ensemble dense de points de mesure virtuels, ce qui permet à PanoRadar d'atteindre une résolution d'imagerie comparable à celle du LiDAR.

« La principale innovation réside dans la manière dont nous traitons ces mesures d'ondes radio », explique Zhao. « Nos algorithmes de traitement du signal et d'apprentissage automatique sont capables d'extraire de riches informations 3D de l'environnement. »

Enseigner l'IA

L'un des plus grands défis auxquels l'équipe de Zhao a été confrontée a été de développer des algorithmes permettant de maintenir une imagerie haute résolution pendant que le robot se déplace. « Pour obtenir une résolution comparable à celle du LiDAR avec des signaux radio, nous devions combiner des mesures provenant de nombreuses positions différentes avec une précision inférieure au millimètre », explique Lai, l'auteur principal de l'article. « Cela devient particulièrement difficile lorsque le robot est en mouvement, car même de petites erreurs de mouvement peuvent avoir un impact significatif sur la qualité de l'imagerie. »

Un autre défi auquel l’équipe s’est attaquée a été d’apprendre à son système à comprendre ce qu’il voit. « Les environnements intérieurs ont des motifs et des géométries cohérents », explique Luo. « Nous avons exploité ces modèles pour aider notre système d'IA à interpréter les signaux radar, de la même manière que les humains apprennent à donner un sens à ce qu'ils voient. » Au cours du processus de formation, le modèle d'apprentissage automatique s'est appuyé sur les données LiDAR pour vérifier sa compréhension par rapport à la réalité et a pu continuer à s'améliorer.

« Nos tests sur le terrain dans différents bâtiments ont montré comment la détection radio peut exceller là où les capteurs traditionnels ont du mal », explique Liu. « Le système assure un suivi précis à travers la fumée et peut même cartographier les espaces dotés de parois vitrées. »

En effet, les ondes radio ne sont pas facilement bloquées par les particules en suspension dans l'air et le système peut même « capturer » des éléments que le LiDAR ne peut pas, comme les surfaces en verre. La haute résolution de PanoRadar signifie également qu'il peut détecter avec précision les personnes, une fonctionnalité essentielle pour des applications telles que les véhicules autonomes et les missions de sauvetage dans des environnements dangereux.

Pour l’avenir, l’équipe prévoit d’explorer comment PanoRadar pourrait fonctionner avec d’autres technologies de détection telles que les caméras et le LiDAR, créant ainsi des systèmes de perception multimodaux plus robustes pour les robots. L’équipe étend également ses tests pour inclure diverses plates-formes robotiques et véhicules autonomes.

« Pour les tâches à enjeux élevés, il est crucial de disposer de plusieurs moyens de détecter l'environnement », explique Zhao. « Chaque capteur a ses forces et ses faiblesses, et en les combinant intelligemment, nous pouvons créer des robots mieux équipés pour relever les défis du monde réel. »