Grand Theft Auto et l'IA aident l'équipe à transformer des photos de chiens en modèles 3D
Les photographies de chiens pourraient bientôt être utilisées pour générer des modèles 3D plus précis que jamais, grâce à une étude primée de l'Université de Surrey et au célèbre jeu vidéo Grand Theft Auto.
Les chercheurs ont appris à un système d'intelligence artificielle (IA) à prédire la pose 3D à partir d'une image 2D d'un chien, qu'ils ont entraîné sur des images créées à l'aide de Grand Theft Auto V.
« Notre modèle a été formé sur des chiens CGI, mais nous avons pu l'utiliser pour créer des modèles squelettiques 3D à partir de photographies d'animaux réels. Cela pourrait permettre aux écologistes de repérer des animaux sauvages blessés ou d'aider les artistes à créer des animaux plus réalistes dans le métaverse », a déclaré Moira Shooter. , Étudiant de troisième cycle en recherche.
Une façon d'apprendre à l'IA à obtenir des informations 3D à partir d'images 2D est de lui montrer des photos tout en lui donnant des informations sur la « vérité terrain » 3D, c'est-à-dire où les objets se trouvent réellement dans l'espace 3D. Pour les humains, cela signifie porter des combinaisons de capture de mouvement.
Même avec leur meilleur comportement, amener des dizaines de chiens à porter des combinaisons de capture de mouvement peut s'avérer difficile.
Au lieu de cela, les chercheurs ont créé une myriade de chiens virtuels à étudier.
Les chercheurs ont modifié le code de Grand Theft Auto, en remplaçant le personnage principal par l'un des huit types de chiens, un processus connu sous le nom de « modding ». Ils ont généré 118 vidéos de chiens assis, marchant, aboyant et courant dans différentes conditions météorologiques et d'éclairage.
L'équipe a appelé sa nouvelle base de données DigiDogs, composée de 27 900 images. Ils vont maintenant l'affiner à l'aide du modèle DINOv2 de Meta pour s'assurer qu'il peut prédire une pose en 3D aussi bien que de vraies photos de chiens.
« Les poses 3D contiennent bien plus d'informations que les photographies 2D. De l'écologie à l'animation, cette solution intéressante a de nombreuses utilisations possibles », a déclaré Shooter.
La recherche a remporté le prix du meilleur article lors de la conférence d'hiver de l'IEEE/CVF sur les applications de la vision par ordinateur.
