Un nouvel outil permet d'analyser les performances des pilotes et la charge de travail mentale en réalité augmentée

Dans le monde de l'aviation aux enjeux élevés, la capacité d'un pilote à réagir sous le stress peut faire la différence entre un vol sûr et une catastrophe. Une formation complète et précise est cruciale pour doter les pilotes des compétences nécessaires pour gérer ces situations difficiles.

Les formateurs de pilotes s'appuient sur des systèmes de réalité augmentée (RA) pour enseigner, en guidant les pilotes à travers divers scénarios afin qu'ils apprennent les actions appropriées. Mais ces systèmes fonctionnent mieux lorsqu’ils sont adaptés aux états mentaux de chaque sujet.

Entrez dans HuBar, un nouvel outil d'analyse visuelle conçu pour résumer et comparer les sessions d'exécution de tâches en RA, telles que les vols simulés guidés par AR, grâce à l'analyse du comportement des interprètes et de la charge de travail cognitive.

En fournissant des informations approfondies sur le comportement et les états mentaux des pilotes, HuBar permet aux chercheurs et aux formateurs d'identifier des modèles, d'identifier les zones de difficulté et d'optimiser les programmes de formation assistés par AR pour améliorer les résultats d'apprentissage et les performances réelles.

HuBar a été développé par une équipe de recherche de la NYU Tandon School of Engineering qui le présentera lors de la conférence IEEE Visualization and Visual Analytics 2024 le 17 octobre 2024.

« Bien que la formation des pilotes soit un cas d'utilisation potentiel, HuBar n'est pas uniquement destiné à l'aviation », a expliqué Claudio Silva, professeur au NYU Tandon Institute au département d'informatique et d'ingénierie (CSE), qui a dirigé la recherche en collaboration avec Northrop Grumman Corporation (NGC). ). « HuBar visualise diverses données provenant de tâches assistées par AR, et cette analyse complète conduit à de meilleures performances et résultats d'apprentissage dans divers scénarios complexes. »

« HuBar pourrait contribuer à améliorer la formation en chirurgie, en opérations militaires et en tâches industrielles », a ajouté Silva, qui est également codirecteur du Centre de recherche en visualisation et analyse de données (VIDA) à NYU.

L'équipe a présenté HuBar dans un article paru sur le arXiv serveur de préimpression, qui démontre ses capacités en utilisant l'aviation comme étude de cas, analysant les données de plusieurs copilotes d'hélicoptère dans une simulation de vol AR. L'équipe a également produit une vidéo sur le système.

En se concentrant sur deux sujets pilotes, le système a révélé des différences frappantes : un sujet maintenait des états d'attention généralement optimaux avec peu d'erreurs, tandis que l'autre subissait des états de sous-charge et faisait des erreurs fréquentes.

L'analyse détaillée de HuBar, y compris des séquences vidéo, a montré que le copilote sous-performant consultait souvent un manuel, ce qui indique une moindre familiarité avec la tâche. En fin de compte, HuBar peut permettre aux formateurs d'identifier les domaines spécifiques dans lesquels les copilotes rencontrent des difficultés et de comprendre pourquoi, fournissant ainsi des informations permettant d'améliorer les programmes de formation assistés par AR.

Ce qui rend HuBar unique, c'est sa capacité à analyser des tâches non linéaires où différentes séquences d'étapes peuvent conduire au succès, tout en intégrant et en visualisant simultanément plusieurs flux de données complexes.

Cela inclut l'activité cérébrale (fNIRS), les mouvements corporels (IMU), le suivi du regard, les procédures de tâches, les erreurs et les classifications de la charge de travail mentale. L'approche globale de HuBar permet une analyse holistique du comportement des interprètes dans les tâches assistées par AR, permettant aux chercheurs et aux formateurs d'identifier les corrélations entre les états cognitifs, les actions physiques et l'exécution des tâches à travers différents chemins d'exécution des tâches.

Le système de visualisation interactif de HuBar facilite également la comparaison entre différentes sessions et différents interprètes, permettant ainsi de discerner des modèles et des anomalies dans des procédures complexes et non séquentielles qui pourraient autrement passer inaperçues dans les méthodes d'analyse traditionnelles.

« Nous pouvons désormais voir exactement quand et pourquoi une personne peut devenir mentalement surchargée ou dangereusement sous-chargée au cours d'une tâche », a déclaré Sonia Castelo, ingénieure de recherche VIDA, Ph.D. étudiant à VIDA et auteur principal de l'article HuBar.

« Ce type d'analyse détaillée n'a jamais été possible auparavant dans un aussi large éventail d'applications. C'est comme avoir une vision aux rayons X dans l'esprit et le corps d'une personne pendant une tâche, fournissant des informations pour adapter les systèmes d'assistance AR pour répondre aux besoins d'un individu. utilisateur. »

À mesure que les systèmes de réalité augmentée, notamment les casques comme Microsoft Hololens, Meta Quest et Apple Vision Pro, deviennent plus sophistiqués et omniprésents, des outils comme HuBar seront cruciaux pour comprendre comment ces technologies affectent les performances humaines et la charge cognitive.

« La prochaine génération de systèmes de formation AR pourrait s'adapter en temps réel en fonction de l'état mental de l'utilisateur », a déclaré Joao Rulff, titulaire d'un doctorat. étudiant à VIDA qui a travaillé sur le projet. « HuBar nous aide à comprendre exactement comment cela pourrait fonctionner dans diverses applications et structures de tâches complexes. »