Ai Tech inspire la vie des animaux de compagnie virtuels
Les chercheurs de l'UNIST ont développé une technologie d'IA innovante capable de reconstruire des modèles tridimensionnels (3D) très détaillés des animaux de compagnie d'une seule photographie, permettant des animations réalistes. Cette percée permet aux utilisateurs de vivre des avatars numériques réalistes de leurs animaux de compagnie dans la réalité virtuelle (VR), la réalité augmentée (AR) et les environnements métaverse.
Les résultats ont été publiés dans le Journal international de vision informatique.
Dirigée par le professeur Kyungdon Joo à la Braduate School d'Uist de l'intelligence artificielle, l'équipe de recherche a annoncé le développement de DoGrecon, un nouveau cadre d'IA qui peut reconstruire un chien gaussien 3D animé à partir d'une seule image de chien.
En raison de leurs races diverses, de leurs formes de corps variables et de leur occlusion fréquente des articulations causées par leur position quadrupède, la reconstruction de modèles 3D de chiens présente des défis uniques. De plus, la création de structures 3D précises à partir d'une seule photo 2D est intrinsèquement difficile, ce qui entraîne souvent des représentations déformées ou irréalistes.
DOGRECON surmonte ces défis en utilisant des modèles statistiques spécifiques à la race pour capturer les variations de la forme et de la posture du corps. Il utilise également une IA générative avancée pour produire de multiples points de vue, reconstruisant efficacement les zones occluses à haute fidélité. De plus, l'application de techniques d'échaptage gaussiennes permet au modèle de reproduire avec précision les contours du corps curviligne et les textures de fourrure caractéristiques des chiens.
Les évaluations des performances utilisant divers ensembles de données ont démontré que DoGrecon peut générer des avatars de chiens 3D précis et précis comparables à ceux produits par des méthodes vidéo existantes, mais à partir d'une seule image.
Contrairement aux modèles antérieurs, qui rendaient souvent des chiens avec des postures non naturelles, telles que des corps étirés avec des articulations pliées, ou des oreilles, des queues et de la fourrure groupées, en particulier lorsque les chiens sont en position détendue ou accroupie, DoGrecon offre des résultats plus réalistes.
En outre, en raison de son architecture évolutive, DoGrecon est prometteur significatif pour les applications dans la génération d'animation axée sur le texte, ainsi que les environnements AR / VR.
Cette recherche a été dirigée par le premier auteur Gyeongsu Cho, avec des contributions de Changwoo Kang (Unist) et Donghyeon Soon (DGIST).
Gyeongsu Cho a déclaré: « Avec plus d'un quart des ménages possédant des animaux de compagnie, l'élargissement de la technologie de reconstruction 3D – axée sur les humains – pour inclure des animaux de compagnie a été un objectif, » ajoutant « » DoGrecon propose un outil qui permet à quiconque de créer et d'animer une version numérique de leurs animaux de compagnie « .
Le professeur Joo a ajouté: « Cette étude représente un pas en avant significatif en intégrant une IA générative avec des techniques de reconstruction 3D pour produire des modèles réalistes d'animaux de compagnie. Nous sommes impatients d'élargir cette approche pour inclure d'autres animaux et des avatars personnalisés à l'avenir. »
