Le bracelet portable capture tout le corps en 3D

À l’aide d’une caméra miniature et d’un réseau de neurones profonds personnalisé, les chercheurs de Cornell ont développé un bracelet unique en son genre qui suit l’ensemble de la posture du corps en 3D.

BodyTrak est le premier appareil portable à suivre la pose de tout le corps avec une seule caméra. S’il est intégré aux futures montres intelligentes, BodyTrak pourrait changer la donne dans la surveillance de la mécanique corporelle des utilisateurs dans les activités physiques où la précision est essentielle, a déclaré Cheng Zhang, professeur adjoint de sciences de l’information et auteur principal de l’article.

« Étant donné que les montres intelligentes ont déjà une caméra, une technologie comme BodyTrak pourrait comprendre la pose de l’utilisateur et donner un retour en temps réel », a déclaré Zhang. « C’est pratique, abordable et ne limite pas la zone de déplacement de l’utilisateur. »

Un article correspondant, « BodyTrak : Inferring Full-body Poses from Body Silhouettes Using a Miniature Camera on a Wristband », a été publié dans le Actes de l’Association for Computing Machinery (ACM) sur les technologies interactives, mobiles, portables et omniprésenteset présenté en septembre à UbiComp 2022, la conférence internationale ACM sur l’informatique pervasive et ubiquitaire.

BodyTrak est le dernier système de détection corporelle du SciFiLab, basé au Cornell Ann S. Bowers College of Computing and Information Science, un groupe qui a déjà développé et exploité des modèles d’apprentissage en profondeur similaires pour suivre les mouvements des mains et des doigts, les expressions faciales et même reconnaissance de la parole silencieuse.

Le secret de BodyTrak ne réside pas seulement dans l’appareil photo de la taille d’un centime au poignet, mais également dans le réseau de neurones profonds personnalisé qui le sous-tend. Ce réseau de neurones profonds, une méthode d’intelligence artificielle qui entraîne les ordinateurs à apprendre des erreurs, lit les images rudimentaires ou « silhouettes » du corps de l’utilisateur en mouvement et recrée virtuellement 14 poses corporelles en 3D et en temps réel.

En d’autres termes, le modèle remplit et complète avec précision les images partielles capturées par la caméra, a déclaré Hyunchul Lim, doctorant dans le domaine des sciences de l’information et auteur principal de l’article.

« Nos recherches montrent que nous n’avons pas besoin que nos cadres corporels soient entièrement dans le champ de vision de la caméra pour détecter le corps », a déclaré Lim. « Si nous sommes capables de capturer juste une partie de notre corps, c’est beaucoup d’informations à déduire pour reconstruire le corps entier. »

Le maintien de l’intimité des passants à proximité d’une personne portant un tel dispositif de détection est une préoccupation légitime lors du développement de ces technologies, ont déclaré Zhang et Lim. Ils ont déclaré que BodyTrak atténuait les problèmes de confidentialité pour les spectateurs puisque la caméra est pointée vers le corps de l’utilisateur et ne collecte que des images corporelles partielles de l’utilisateur.

Ils reconnaissent également que les smartwatches d’aujourd’hui n’ont pas encore de caméras suffisamment petites ou puissantes et une autonomie de batterie adéquate pour intégrer la détection complète du corps, mais qu’elles le pourraient à l’avenir.

Avec Lim et Zhang, les co-auteurs de l’article sont Matthew Dressa ’22, Jae Hoon Kim ’23 et Ruidong Zhang, doctorant dans le domaine des sciences de l’information ; Yaxuan Li de l’Université McGill; et Fang Hu de l’Université Jian Tong de Shanghai.