Les chercheurs créent des reconstructions 3D plus précises en utilisant seulement deux perspectives de caméra
Ces dernières années, les méthodes neuronales se sont répandues dans les reconstructions basées sur des caméras. Toutefois, dans la plupart des cas, des centaines de perspectives de caméra sont nécessaires. Parallèlement, il existe des méthodes photométriques conventionnelles qui permettent de calculer des reconstructions très précises, même à partir d'objets présentant des surfaces sans texture. Cependant, ceux-ci ne fonctionnent généralement que dans des conditions contrôlées en laboratoire.
Daniel Cremers, professeur de vision par ordinateur et d'intelligence artificielle à la TUM et directeur du Centre d'apprentissage automatique de Munich (MCML) et directeur du Munich Data Science Institute (MDSI), a développé avec son équipe une méthode qui utilise les deux approches.
Il combine un réseau neuronal de la surface avec un modèle précis du processus d'éclairage qui prend en compte l'absorption lumineuse et la distance entre l'objet et la source lumineuse. La luminosité des images est utilisée pour déterminer l’angle et la distance de la surface par rapport à la source lumineuse.
« Cela nous permet de modéliser les objets avec une bien plus grande précision que les processus existants. Nous pouvons utiliser l'environnement naturel et reconstruire des objets relativement sans texture pour nos reconstructions », explique Cremers.
L'article est publié sur le arXiv serveur de préimpression et sera présenté à la Conférence sur la vision par ordinateur et la reconnaissance de formes (CVPR 2024) qui se tiendra à Seattle du 17 au 21 juin 2024.
Applications en conduite autonome et préservation d’objets historiques
La méthode peut être utilisée pour préserver des monuments historiques ou numériser des expositions de musée. Si celles-ci sont détruites ou se détériorent avec le temps, des images photographiques peuvent être utilisées pour reconstruire les originaux et créer des répliques authentiques.
L'équipe du professeur Cremers développe également des méthodes de reconstruction basées sur des caméras neuronales pour la conduite autonome, où une caméra filme l'environnement du véhicule. La voiture autonome peut modéliser son environnement en temps réel, développer une représentation tridimensionnelle de la scène et l'utiliser pour prendre des décisions.
Le processus est basé sur des réseaux neuronaux qui prédisent des nuages de points 3D pour des images vidéo individuelles qui sont ensuite fusionnées dans un modèle à grande échelle des routes parcourues.
