La nouvelle approche des ingénieurs met les images au point
Les chercheurs de Johns Hopkins ont développé une nouvelle méthode efficace pour transformer des images floues en images claires et nettes. Appelée Progressively Deblurring Radiance Field (PDRF), cette approche élimine le flou des images 15 fois plus rapidement que les méthodes précédentes tout en obtenant de meilleurs résultats sur les scènes synthétiques et réelles.
« Souvent, les images sont floues parce que la mise au point automatique ne fonctionne pas correctement ou parce que l'appareil photo ou le sujet bouge. Notre méthode vous permet de transformer ces images floues en quelque chose de clair et tridimensionnel », a déclaré Cheng Peng, chercheur postdoctoral à Laboratoire d'intelligence artificielle pour l'ingénierie et la médecine de Johns Hopkins.
« Les applications pourraient inclure tout, depuis les applications de réalité virtuelle et augmentée jusqu'à la numérisation 3D pour le commerce électronique, la production de films et les systèmes de navigation robotisés, sans parler du simple fait d'être utilisées pour affiner et supprimer le flou de photos et de vidéos personnelles. »
Peng a travaillé avec le conseiller Rama Chellappa, professeur émérite Bloomberg en génie électrique et informatique et en génie biomédical, sur le projet. Leurs résultats apparaissent dans le Actes de la 37e conférence annuelle de l'AAAI sur l'intelligence artificielle.
En règle générale, le processus de suppression du flou des images comporte deux étapes. Tout d’abord, le système estime les positions des caméras qui ont pris les images floues, ce qui lui permet d’insérer les images 2D dans la scène 3D. Ensuite, le système reconstruit un modèle 3D plus détaillé de la scène représentée dans les images ou les photos. Bien qu’elles soient généralement efficaces, ces méthodes traditionnelles présentent des limites, entraînant souvent des artefacts (distorsions et anomalies) et des reconstructions incomplètes. Le Neural Radiance Field (NeRF), un développement récent dans la reconstruction d'images 3D, permet d'obtenir des résultats photoréalistes, mais uniquement si les images d'entrée sont de bonne qualité.
En revanche, PDRF peut fournir des images claires et nettes, même avec des images d'entrée de faible qualité. Le secret, a déclaré Peng, est que la nouvelle approche a la capacité non seulement de détecter et de réduire le flou dans les photos d'entrée, mais également d'affiner ces images à l'aide de ce que l'équipe appelle un « module d'estimation progressive du flou » avant de créer des reconstructions 3D d'images ou scènes.
« PDRF est basé sur des réseaux de neurones et offre une technique rapide et auto-supervisée qui apprend à partir des images saisies elles-mêmes et ne nécessite pas de données de formation saisies manuellement. Remarquablement, il traite divers types de dégradation, notamment le bougé de l'appareil photo, le mouvement des objets et les perturbations externes. scénarios flous, démontrant sa polyvalence », a-t-il déclaré. « En d'autres termes, nous l'avons conçu pour gérer des situations et des images du monde réel. »
Par exemple, Peng et son équipe travaillent avec des chercheurs du département de dermatologie de la faculté de médecine Johns Hopkins pour utiliser la nouvelle technologie de modélisation 3D afin d'améliorer la détection des tumeurs cutanées, en particulier la neurofibromatose : tumeurs qui touchent le cerveau, la moelle épinière, et les nerfs.
« Dans les cas de neurofibromatose, les méthodes de mesure traditionnelles s'avèrent souvent difficiles en raison de la nature molle et déformable des tumeurs », a déclaré Peng. « Notre projet en cours vise à résoudre ce problème en créant des modèles 3D précis, permettant une analyse précise du volume, de la position et de la quantité de la tumeur. Cette approche innovante est particulièrement prometteuse dans les scénarios de télémédecine ou de télésanté, où les patients peuvent utiliser leurs propres caméras pour capturer les zones touchées. cette méthode étant bénéfique pour améliorer la précision du diagnostic.
PDRF a été reconnu par le programme Walk-Through Rendering of Images of Varying Altitude (WRIVA) de l'Intelligence Advanced Research Projects Activity (IARPA), qui vise à développer des systèmes logiciels pour effectuer la modélisation de sites dans des scénarios où un volume limité d'images au niveau du sol avec des métadonnées fiables sont disponibles.
« Des contrats comme celui-ci nous permettent d'appliquer ces méthodes à une plus grande échelle, à l'échelle de la ville. C'est là que nous voyons l'orientation future de cette démarche, qui est une reconstruction à grande échelle, et s'oriente davantage vers une réalité mixte », a-t-il déclaré. . « À l'avenir, les gens pourront explorer des terres et des villes lointaines en 3D, à partir d'images 2D capturées même par de simples photographes amateurs. »
