La synthèse d'avatars dans une vidéo à 360 degrés offre une expérience de marche virtuelle

Les chercheurs ont développé un système qui offre une expérience de marche virtuelle à une personne assise par synthèse en temps réel d'un avatar en marche et de son ombre sur une vidéo à 360 degrés avec vibrations aux pieds. L'ombre de l'avatar induit une présence illusoire de son corps. À l’avenir, il devrait offrir une expérience immersive sur tout support enregistré doté d’une incarnation virtuelle.

La marche est une activité fondamentale pour l’homme et un exercice important au cœur des activités quotidiennes. Une équipe de recherche de l'Université de technologie de Toyohashi et de l'Université de Tokyo développe un système qui offre une expérience de marche virtuelle à une personne assise. Le système vise à offrir une expérience de marche dans des environnements virtuels en utilisant un espace 3DCG et une vidéo d'action en direct à 360 degrés.

Dans les environnements virtuels, les informations physiques ou les informations destinées à l'incarnation sont un facteur important pour améliorer l'expérience. Dans cette étude, l’expérience de marche a été améliorée en ajoutant des informations physiques sur l’utilisateur, qui n’étaient pas initialement incluses dans l’expérience vidéo à 360 degrés, et en les intégrant à la vidéo à 360 degrés.

Les informations physiques comprennent un avatar en marche (humain virtuel), des ombres créées par la lumière projetée sur l'avatar et des vibrations créées par les pieds pendant la marche.

L'expérience de marche peut être acquise grâce à l'avatar et à son ombre synthétisée avec une vidéo à 360 degrés, et l'utilisation de longues ombres améliore la sensation d'action des jambes et de téléprésence pendant la marche. Les résultats de cette étude ont été publiés dans i-Perception.

Divers dispositifs de marche ont été développés dans le domaine des réalités virtuelles et métaverses. Cependant, la plupart d’entre eux impliquent de véritables mouvements des membres. Ces appareils sont volumineux, complexes, coûteux et ne sont pas destinés à un usage domestique. Ils dépendent également fortement de leur santé physique.

L'une des caractéristiques de cette étude est qu'une personne assise peut acquérir l'expérience de marcher sans bouger les jambes. Il est également compact en termes de système et de coût et comprend un visiocasque (HMD) disponible dans le commerce et quatre vibrateurs fixés aux pieds.

Le système est basé sur une vidéo à 360 degrés d’une résolution de 8 K d’une personne marchant et se déplaçant, visualisée via un HMD. L'avatar intégré à la vidéo à 360 degrés est synchronisé avec les mouvements de la tête de l'utilisateur, de sorte que lorsqu'il tourne vers la droite, l'avatar tourne également vers la droite.

Les mouvements de l'avatar ont été convertis et restitués en temps réel dans un format vidéo à 360 degrés. L'avatar a été observé à la première personne, dans lequel celle de l'utilisateur coïncidait avec celle de l'avatar, qui coïncidait toujours avec le centre de la vidéo à 360 degrés. L'ombre de l'avatar est restituée directement devant la direction du déplacement et est toujours observée, même dans le champ de vision limité du HMD.

Lorsque l'avatar marche et que ses pieds atterrissent au sol, les vibrations parviennent jusqu'aux pieds de l'utilisateur (talon et avant-pied). Présenter un avatar et son mouvement avec des vibrations synchronisées des pieds produit une puissante sensation de marche.

Le développement ultérieur d'un système permettant aux personnes de faire l'expérience de la marche sans bouger leurs membres devrait apporter du plaisir à plusieurs expériences qui commencent par la marche, quelles que soient les limitations physiques, et améliorer la qualité de vie.

De plus, en prenant en charge des formats capables d'enregistrer de l'espace, comme une vidéo à 360 degrés, le système devrait être utilisé dans plusieurs situations et déployé auprès d'un plus large éventail de personnes. Si l'appareil devient plus compact, il sera possible de marcher ou de rentrer chez soi.