Une nouvelle façon d’amener des articles personnels à la réalité mixte
Pensez à vos effets les plus prisés. Dans un monde de plus en plus virtuel, ne serait-il pas génial de sauver une copie de cet article précieux et de tous les souvenirs qu’il détient?
Dans les paramètres de réalité mixte, vous pouvez créer un jumeau numérique d’un élément physique, comme une vieille poupée. Mais il est difficile de reproduire des éléments interactifs, comme la façon dont il se déplace ou les sons qu’il fait – les types de fonctionnalités interactives uniques qui ont rendu le jouet distinct en premier lieu.
Des chercheurs du Laboratoire d’intelligence informatique et d’intelligence artificielle du MIT (CSAIL) ont cherché à changer cela, et ils ont une solution potentielle. Leur programme « InteReCon » permet aux utilisateurs de récupérer des objets du monde réel dans une application mobile, puis de les animer dans des environnements de réalité mixte.
Ce prototype pourrait recréer les fonctions d’interaction dans le monde physique, telles que les mouvements de tête de votre bobblehead préféré, ou jouer une vidéo classique sur une version numérique de votre téléviseur vintage. Il crée un environnement numérique plus réaliste et personnel tout en préservant une mémoire.
La capacité d’Intecon à reconstruire l’expérience interactive de différents éléments pourrait en faire un outil utile pour les enseignants expliquant des concepts importants, comme démontrer comment la gravité aboutit à un objet. Il pourrait également ajouter une nouvelle composante visuelle aux expositions du musée, telles que l’animation d’une peinture ou donner vie à un mannequin historique (sans la peur des personnages de « Night at the Museum »).
Finalement, Intecon peut être en mesure d’enseigner une chirurgie d’organe d’apprentissage d’un médecin ou une procédure esthétique en visualisant chaque mouvement nécessaire pour terminer la tâche.
https://www.youtube.com/watch?v=5or7vwumjjw
Le potentiel passionnant d’Intecon provient de sa capacité à ajouter des mouvements ou des fonctions interactives à de nombreux objets différents, selon le chercheur visitant CSAIL Zisu Li, auteur principal d’un article introduisant l’outil, publié sur le arxiv serveur de préimprimée.
« Bien que prendre une photo ou une vidéo est un excellent moyen de préserver une mémoire, ces copies numériques sont statiques », explique Li, qui est également un doctorat. Étudiant à l’Université des sciences et technologies de Hong Kong.
« Nous avons constaté que les utilisateurs voulaient reconstruire des objets personnels tout en préservant leur interactivité pour enrichir leurs souvenirs. Avec la puissance de la réalité mixte, Intecon peut faire vivre ces souvenirs plus longtemps dans des paramètres virtuels en tant qu’articles numériques interactifs. »
Li et ses collègues présenteront Interecon lors de la conférence ACM CHI 2025 sur les facteurs humains dans les systèmes informatiques.
Rendre un monde virtuel plus réaliste
Pour rendre l’interactivité numérique possible, l’équipe a d’abord développé une application iPhone. À l’aide de votre appareil photo, vous scannez l’élément jusqu’à trois fois pour vous assurer qu’il est entièrement capturé.
Le modèle 3D peut ensuite être importé dans l’interface de réalité mixte interecon, où vous pouvez marquer les zones individuelles (« segment ») pour sélectionner les parties du modèle interactives (comme les bras, la tête, le torse et les jambes d’une poupée). Alternativement, vous pouvez utiliser la fonction fournie par InteReCon pour la segmentation automatique.
L’interface Intecon est accessible via le casque de réalité mixte (comme HoloLens 2 et Quest). Il vous permet de choisir un mouvement programmable pour la partie de l’élément que vous souhaitez animer après la segmentation de votre modèle.
Les options de mouvement sont présentées sous forme de démonstrations de mouvement, vous permettant de jouer avec eux avant de décider d’un – disons, un mouvement de flop qui imite comment les oreilles d’une poupée de lapin se déplacent. Vous pouvez même pincer une pièce spécifique et explorer différentes façons de l’animer, comme les virages glissants, pendants et en forme de pendule.
Votre ancien iPod, numérisé
L’équipe a montré qu’Intecon peut également reprendre l’interface des appareils électroniques physiques, comme un téléviseur vintage. Après avoir fait une copie numérique de l’élément, vous pouvez personnaliser le modèle 3D avec différentes interfaces.
Les utilisateurs peuvent jouer avec des exemples de widgets à partir de différentes interfaces avant de choisir un mouvement: un écran (soit un affichage télévisé ou un viseur de l’appareil photo), un bouton rotatif (pour, disons, en ajustant le volume), un bouton « On / Off » et un curseur (pour modifier les paramètres sur quelque chose comme un stand DJ).
Li et ses collègues ont présenté une application qui recrée l’interactivité d’un téléviseur vintage en incorporant des widgets virtuels tels qu’un bouton « ON / OFF », un écran et un commutateur de chaîne sur un modèle de télévision, ainsi que l’intégration de vieilles vidéos. Cela donne vie au modèle télévisé. Vous pouvez également télécharger des fichiers MP3 et ajouter un « bouton de lecture » à un modèle 3D d’un iPod pour écouter vos chansons préférées dans la réalité mixte.
Les chercheurs croient qu’Interecon ouvre de nouvelles avenues intrigantes dans la conception des environnements virtuels réalisants. Une étude des utilisateurs a confirmé que les personnes de différents domaines partagent cet enthousiasme, le considérant comme facile à apprendre et diversifié dans sa capacité à exprimer la richesse des souvenirs des utilisateurs.
« Une chose que j’apprécie vraiment, c’est que les éléments dont les utilisateurs se souviennent sont imparfaits », explique Faraz Faruqi SM, un autre auteur du journal qui est également un affilié de CSAIL et un Ph.D. Étudiant en génie électrique et en informatique.
« Interecon apporte ces imperfections dans la réalité mixte, recréant avec précision ce qui a fait un article personnel comme un ours en peluche manquant quelques boutons si spéciaux. »
Dans une étude connexe, les utilisateurs ont imaginé comment cette technologie pouvait être appliquée aux scénarios professionnels, de l’enseignement aux étudiants en médecine comment effectuer des chirurgies pour aider les voyageurs et les chercheurs à enregistrer leurs voyages, et même à aider les créateurs de mode à expérimenter avec les matériaux.
Avant qu’Intecon est utilisé dans des paramètres plus avancés, cependant, l’équipe souhaite mettre à niveau son moteur de simulation physique vers quelque chose de plus précis. Cela permettrait aux applications telles que l’aide d’un apprenti médecin à apprendre la précision ponctuelle nécessaire pour effectuer certaines manœuvres chirurgicales.
Li et Faruqi peuvent également intégrer des modèles de grands langues et des modèles génératifs qui peuvent recréer des éléments personnels perdus dans des modèles 3D via des descriptions de langage, ainsi que d’expliquer les fonctionnalités de l’interface.
En ce qui concerne les prochaines étapes des chercheurs, Li travaille vers un pipeline plus automatique et puissant qui peut faire des jumeaux numériques à interactivité préservés d’environnements physiques plus grands dans la réalité mixte pour les utilisateurs finaux, comme un espace de bureau virtuel. Faruqi cherche à construire une approche qui peut recréer physiquement les articles perdus via des imprimantes 3D.
« Intecon représente une nouvelle frontière passionnante dans le domaine de la réalité mixte, allant au-delà de la simple réplication visuelle pour capturer l’interactivité unique des objets physiques », explique Hanwang Zhang, professeur agrégé au Collège d’informatique et de science des données de l’Université technologique de Nanyang, qui n’a pas été impliqué dans la recherche.
« Cette technologie a le potentiel de révolutionner l’éducation, les soins de santé et les expositions culturelles en apportant un nouveau niveau d’immersion et de connexion personnelle avec les environnements virtuels. »
