L'IA et l'holographie apportent la réalité augmentée 3D aux lunettes ordinaires
Des chercheurs dans le domaine émergent de l’informatique spatiale ont développé un prototype de casque de réalité augmentée qui utilise l’imagerie holographique pour superposer des images animées en couleur et 3D sur les verres de ce qui semble être une paire de lunettes ordinaire. Contrairement aux casques encombrants des systèmes de réalité augmentée actuels, la nouvelle approche offre une expérience de visualisation 3D visuellement satisfaisante dans un format compact, confortable et attrayant, adapté à un port toute la journée.
« Notre casque apparaît au monde extérieur comme une paire de lunettes de tous les jours, mais ce que l'utilisateur voit à travers les lentilles est un monde enrichi recouvert d'images informatiques 3D vibrantes et en couleur », a déclaré Gordon Wetzstein, professeur agrégé de génie électrique. et un expert dans le domaine en pleine émergence de l’informatique spatiale.
Wetzstein et une équipe d'ingénieurs présentent leur appareil dans un article paru dans la revue Nature.
Même si ce n'est qu'un prototype pour l'instant, une telle technologie, disent-ils, pourrait transformer des domaines allant du jeu et du divertissement à la formation et à l'éducation, partout où l'imagerie informatique pourrait améliorer ou éclairer la compréhension du monde qui l'entoure.
« On pourrait imaginer un chirurgien portant de telles lunettes pour planifier une intervention chirurgicale délicate ou complexe ou un mécanicien d'avion les utilisant pour apprendre à travailler sur le dernier moteur à réaction », Manu Gopakumar, doctorant au laboratoire d'imagerie informatique de Stanford dirigé par Wetzstein et co- a déclaré le premier auteur de l’article.
Obstacles surmontés
La nouvelle approche est la première à enchaîner un labyrinthe complexe d'exigences techniques qui ont jusqu'à présent produit soit des casques disgracieux, soit des expériences visuelles 3D peu satisfaisantes qui peuvent laisser le porteur visuellement fatigué, voire parfois un peu nauséeux.
« Il n'existe actuellement aucun autre système de réalité augmentée offrant un facteur de forme compact comparable ou correspondant à notre qualité d'image 3D », a déclaré Gun-Yeal Lee, chercheur postdoctoral au laboratoire d'imagerie informatique de Stanford et co-premier auteur de l'article.
Pour réussir, les chercheurs ont surmonté les obstacles techniques grâce à une combinaison d’imagerie holographique améliorée par l’IA et de nouvelles approches de dispositifs nanophotoniques. Le premier obstacle était que les techniques d’affichage d’images de réalité augmentée nécessitent souvent l’utilisation de systèmes optiques complexes.
Dans ces systèmes, l’utilisateur ne voit pas réellement le monde réel à travers les lentilles du casque. Au lieu de cela, des caméras montées à l’extérieur du casque capturent le monde en temps réel et combinent ces images avec des images calculées. L'image mélangée résultante est ensuite projetée stéréoscopiquement à l'œil de l'utilisateur.
« L'utilisateur voit une approximation numérisée du monde réel avec des images informatiques superposées. C'est une sorte de réalité virtuelle augmentée, pas de véritable réalité augmentée », a expliqué Lee.
Ces systèmes, explique Wetzstein, sont nécessairement encombrants car ils utilisent des lentilles grossissantes entre l'œil du porteur et les écrans de projection qui nécessitent une distance minimale entre l'œil, les lentilles et les écrans, entraînant un encombrement supplémentaire.
« Au-delà de l'encombrement, ces limitations peuvent également conduire à un réalisme perceptuel insatisfaisant et, souvent, à un inconfort visuel », a déclaré Suyeon Choi, doctorante au laboratoire d'imagerie informatique de Stanford et co-auteur de l'article.
Application qui tue
Pour produire des images 3D visuellement plus satisfaisantes, Wetzstein a dépassé les approches stéréoscopiques traditionnelles au profit de l'holographie, une technique visuelle lauréate du prix Nobel développée à la fin des années 1940. Malgré les grandes promesses de l’imagerie 3D, l’adoption plus large de l’holographie a été limitée par l’incapacité à représenter des indices de profondeur 3D précis, conduisant à une expérience visuelle décevante, parfois induisant la nausée.
L’équipe Wetzstein a utilisé l’IA pour améliorer les indices de profondeur dans les images holographiques. Ensuite, grâce aux progrès de la nanophotonique et des technologies d’affichage par guide d’ondes, les chercheurs ont pu projeter des hologrammes calculés sur les verres des lunettes sans recourir à des optiques supplémentaires encombrantes.
Un guide d'ondes est construit en gravant des motifs à l'échelle nanométrique sur la surface de la lentille. De petits écrans holographiques montés sur chaque branche projettent les images calculées à travers les motifs gravés qui font rebondir la lumière à l'intérieur de la lentille avant qu'elle ne soit transmise directement à l'œil du spectateur. En regardant à travers les verres des lunettes, l'utilisateur voit à la fois le monde réel et les images calculées en 3D en couleur affichées au-dessus.
Qualité réaliste
L'effet 3D est amélioré car il est créé à la fois de manière stéréoscopique, dans le sens où chaque œil peut voir une image légèrement différente comme il le ferait dans l'imagerie 3D traditionnelle, et de manière holographique.
« Avec l'holographie, vous obtenez également le volume 3D complet devant chaque œil, ce qui augmente la qualité de l'image 3D réaliste », a déclaré Brian Chao, doctorant au laboratoire d'imagerie informatique de Stanford et également co-auteur de l'article.
Le résultat final des nouvelles techniques d'affichage des guides d'ondes et de l'amélioration de l'imagerie holographique est une expérience visuelle 3D réaliste qui est à la fois visuellement satisfaisante pour l'utilisateur, sans la fatigue qui a défié les approches précédentes.
« Les écrans holographiques ont longtemps été considérés comme la technique 3D ultime, mais ils n'ont jamais vraiment atteint une percée commerciale majeure », a déclaré Wetzstein. « Peut-être qu'ils ont maintenant l'application géniale qu'ils attendaient depuis toutes ces années. »
