Le bracelet utilise les échos et l'IA pour suivre les positions des mains pour la réalité virtuelle et plus encore

Les chercheurs de Cornell ont développé un bracelet qui détecte en permanence le positionnement de la main, ainsi que les objets avec lesquels la main interagit, à l'aide d'ondes sonores inaudibles alimentées par l'IA.

Les applications potentielles incluent le suivi des positions des mains pour les systèmes de réalité virtuelle (VR), le contrôle des smartphones et d'autres appareils avec des gestes de la main et la compréhension des activités d'un utilisateur ; par exemple, une application de cuisine pourrait raconter une recette pendant que l'utilisateur coupe, mesure et remue. La technologie est suffisamment petite pour tenir sur une montre intelligente commerciale et dure toute la journée avec une batterie de montre intelligente standard.

EchoWrist fait partie des dernières technologies de suivi de pose corporelle à faible consommation du laboratoire Smart Computer Interfaces for Future Interactions (SciFi). Cheng Zhang, professeur adjoint de sciences de l'information au Cornell Ann S. Bowers College of Computing and Information Science, dirige le laboratoire.

« La main est fondamentalement importante : quoi que vous fassiez, cela implique presque toujours des mains », a déclaré Zhang. « Cet appareil offre une solution qui permet de suivre en permanence la pose de votre main à moindre coût et avec une grande précision. »

Chi-Jung Lee et Ruidong Zhang, tous deux doctorants dans le domaine des sciences de l'information et co-premiers auteurs, présenteront l'étude intitulée « EchoWrist : suivi continu de la pose de la main et reconnaissance des interactions main-objet à l'aide de la détection acoustique active de faible puissance. a Wristband », lors de la conférence CHI de l'Association of Computing Machinery sur les facteurs humains dans les systèmes informatiques (CHI'24), du 11 au 16 mai.

L'ouvrage est publié sur le arXiv serveur de préimpression.

EchoWrist permet également aux utilisateurs de contrôler les appareils avec des gestes et de faire des présentations.

« Nous pouvons enrichir notre interaction avec une montre intelligente ou même avec d'autres appareils en permettant une interaction à une seule main. Nous pourrions également contrôler notre smartphone à distance », a déclaré Lee. « Je peux simplement utiliser des gestes d'une seule main pour contrôler mes diapositives. »

C'est la première fois que le laboratoire étend sa technologie au-delà du corps, a déclaré Ruidong Zhang. « EchoWrist suit non seulement la main elle-même, mais également les objets et l'environnement. »

L'appareil utilise deux minuscules haut-parleurs montés sur le dessus et le dessous d'un bracelet pour faire rebondir le son inaudible de la main et de tout objet tenu à la main. Deux microphones proches captent les échos, qui sont interprétés par un microcontrôleur. Une batterie inférieure à un quart alimente l'appareil.

L'équipe a développé un type de modèle d'intelligence artificielle inspiré des neurones du cerveau, appelé réseau neuronal, pour interpréter la posture de la main d'un utilisateur en fonction des échos résultants. Pour entraîner le réseau neuronal, ils ont comparé des profils d'écho et des vidéos d'utilisateurs effectuant divers gestes et ont reconstruit les positions de 20 articulations des mains sur la base des signaux sonores.

Avec l'aide de 12 volontaires, les chercheurs ont testé dans quelle mesure EchoWrist détecte des objets tels qu'une tasse, des baguettes, une bouteille d'eau, une casserole, une poêle et une bouilloire, ainsi que des actions telles que boire, remuer, peler, tordre, hacher et verser. Dans l’ensemble, l’appareil avait une précision de 97,6 %. Cette fonctionnalité permet aux utilisateurs de suivre des recettes interactives qui suivent les progrès du cuisinier et lisent l'étape suivante, afin que les cuisiniers puissent éviter de salir leurs écrans.

Contrairement à FingerTrak, une précédente technologie de suivi manuel du SciFi Lab qui utilisait des caméras, EchoWrist est beaucoup plus petit et consomme beaucoup moins d'énergie.

« Un avantage supplémentaire important du suivi acoustique est qu'il améliore réellement la confidentialité des utilisateurs tout en offrant un niveau de performance similaire à celui du suivi par caméra », a déclaré le co-auteur François Guimbretière, professeur de sciences de l'information à Cornell Bowers CIS et au département multicollégial de Design Tech. .

La technologie pourrait être utilisée pour reproduire les mouvements de la main pour des applications VR. Les systèmes de réalité virtuelle et augmentée existants accomplissent cette tâche à l'aide de caméras montées sur le casque, mais cette approche consomme beaucoup d'énergie et ne permet pas de suivre les mains une fois qu'elles quittent le champ de vision limité du casque.

« L'une des applications les plus intéressantes que cette technologie permettrait serait de permettre à l'IA de comprendre les activités humaines en suivant et en interprétant les poses des mains dans les activités quotidiennes », a déclaré Cheng Zhang.

Les chercheurs ont cependant noté qu’EchoWrist avait encore du mal à distinguer des objets aux formes très similaires, comme une fourchette et une cuillère. Mais l’équipe est convaincue que la reconnaissance des objets s’améliorera à mesure qu’elle perfectionnera la technologie. Avec une optimisation plus poussée, ils pensent qu’EchoWrist pourrait facilement être intégré à une montre intelligente disponible dans le commerce.