Les mouvements du corps humain pourraient permettre une reconnaissance automatisée des émotions, selon des chercheurs

Une personne peut porter ses mains à son visage lorsqu’elle se sent triste ou sauter en l’air lorsqu’elle se sent heureuse. Les mouvements du corps humain transmettent des émotions, qui jouent un rôle crucial dans la communication quotidienne, selon une équipe dirigée par des chercheurs de Penn State. En combinant l’informatique, la psychologie et les arts du spectacle, les chercheurs ont développé un ensemble de données annotées sur les mouvements humains qui pourraient améliorer la capacité de l’intelligence artificielle à reconnaître les émotions exprimées par le langage corporel.

Le travail, dirigé par James Wang, professeur distingué au Collège des systèmes et technologies de l’information (IST) et réalisé principalement par Chenyan Wu, un doctorant diplômé du groupe de Wang, a été publié le 13 octobre dans l’édition imprimée de Motifs et figurait sur la couverture du journal.

« Les gens se déplacent souvent en utilisant des schémas moteurs spécifiques pour transmettre des émotions et ces mouvements corporels contiennent des informations importantes sur les émotions ou l’état mental d’une personne », a déclaré Wang. « En décrivant des mouvements spécifiques communs aux humains à l’aide de leurs schémas fondamentaux, appelés éléments moteurs, nous pouvons établir la relation entre ces éléments moteurs et les émotions corporelles exprimées. »

Selon Wang, améliorer la compréhension des émotions corporelles exprimées par les machines pourrait contribuer à améliorer la communication entre les robots d’assistance et les enfants ou les utilisateurs âgés ; fournir aux professionnels de la psychiatrie une aide quantitative au diagnostic et au pronostic ; et renforcer la sécurité en évitant les incidents dans les interactions homme-machine.

« Dans ce travail, nous avons introduit un nouveau paradigme pour la compréhension des émotions exprimées corporellement qui intègre l’analyse des éléments moteurs », a déclaré Wang. « Notre approche exploite des réseaux neuronaux profonds, un type d’intelligence artificielle, pour reconnaître les éléments moteurs, qui sont ensuite utilisés comme caractéristiques intermédiaires pour la reconnaissance des émotions. »

L’équipe a créé un ensemble de données sur la manière dont les mouvements corporels indiquent les émotions (éléments moteurs du corps) à l’aide de 1 600 clips vidéo humains. Chaque clip vidéo a été annoté à l’aide de Laban Movement Analysis (LMA), une méthode et un langage permettant de décrire, de visualiser, d’interpréter et de documenter le mouvement humain.

Wu a ensuite conçu un réseau d’analyse de mouvement à deux branches et à deux tâches, capable d’utiliser l’ensemble de données étiqueté pour produire des prédictions à la fois sur les émotions exprimées corporellement et sur les étiquettes LMA pour de nouvelles images ou vidéos.

« Les étiquettes d’émotion et d’élément LMA sont liées, et les étiquettes LMA sont plus faciles à apprendre pour les réseaux neuronaux profonds », a déclaré Wu.

Selon Wang, LMA peut étudier les éléments moteurs et les émotions tout en créant simultanément un ensemble de données « de haute précision » qui démontre l’apprentissage efficace du mouvement humain et de l’expression émotionnelle.

« L’intégration des fonctionnalités LMA a amélioré efficacement la compréhension des émotions exprimées par le corps », a déclaré Wang. « Des expériences approfondies utilisant des données vidéo du monde réel ont révélé que notre approche surpassait considérablement les lignes de base qui ne prenaient en compte que les mouvements rudimentaires du corps, ce qui est prometteur pour de nouveaux progrès dans le futur. »