Développement de la première technologie portable de reconnaissance des émotions humaines en temps réel au monde
Une technologie capable de reconnaître les émotions humaines en temps réel a été développée par le professeur Jiyun Kim et son équipe de recherche du Département de science et d’ingénierie des matériaux de l’UNIST. Cette technologie innovante est sur le point de révolutionner diverses industries, notamment les systèmes portables de nouvelle génération qui fournissent des services basés sur les émotions.
Comprendre et extraire avec précision les informations émotionnelles constitue depuis longtemps un défi en raison de la nature abstraite et ambiguë des effets humains tels que les émotions, les humeurs et les sentiments. Pour résoudre ce problème, l’équipe de recherche a développé un système multimodal de reconnaissance des émotions humaines qui combine des données d’expression verbale et non verbale pour utiliser efficacement des informations émotionnelles complètes.
Au cœur de ce système se trouve le système d’interface faciale personnalisée intégrée à la peau (PSiFI), qui est auto-alimenté, facile, extensible et transparent. Il est doté d’un capteur triboélectrique bidirectionnel de contrainte et de vibration, le premier en son genre, qui permet la détection et l’intégration simultanées de données d’expression verbales et non verbales. Le système est entièrement intégré à un circuit de traitement de données pour le transfert de données sans fil, permettant la reconnaissance des émotions en temps réel.
Utilisant des algorithmes d’apprentissage automatique, la technologie développée démontre des tâches précises et en temps réel de reconnaissance des émotions humaines, même lorsque les individus portent des masques. Le système a également été appliqué avec succès dans une application de conciergerie numérique dans un environnement de réalité virtuelle (VR).
La technologie est basée sur le phénomène de « charge par friction », où les objets se séparent en charges positives et négatives lors du frottement. Notamment, le système est auto-généré, ne nécessitant aucune source d’alimentation externe ni dispositif de mesure complexe pour la reconnaissance des données.
Le professeur Kim a commenté : « Sur la base de ces technologies, nous avons développé un système d’interface faciale intégrée à la peau (PSiFI) qui peut être personnalisé pour les individus. » L’équipe a utilisé une technique de semi-durcissement pour fabriquer un conducteur transparent pour les électrodes de charge par friction. De plus, un masque personnalisé a été créé grâce à une technique de prise de vue multi-angle, alliant flexibilité, élasticité et transparence.
L’équipe de recherche a intégré avec succès la détection de la déformation des muscles du visage et des vibrations des cordes vocales, permettant ainsi la reconnaissance des émotions en temps réel. Les capacités du système ont été démontrées dans une application de réalité virtuelle de « conciergerie numérique », où des services personnalisés basés sur les émotions des utilisateurs ont été fournis.
Jin Pyo Lee, le premier auteur de l’étude, a déclaré : « Grâce à ce système développé, il est possible de mettre en œuvre la reconnaissance des émotions en temps réel avec seulement quelques étapes d’apprentissage et sans équipement de mesure complexe. Cela ouvre des possibilités pour les appareils portables de reconnaissance des émotions. et des services de plateforme numérique de nouvelle génération basés sur les émotions à l’avenir.
L’équipe de recherche a mené des expériences de reconnaissance des émotions en temps réel, collectant des données multimodales telles que la déformation des muscles du visage et la voix. Le système a montré une grande précision de reconnaissance émotionnelle avec un minimum de formation. Sa nature sans fil et personnalisable garantit portabilité et commodité.
En outre, l’équipe a appliqué le système aux environnements VR, en l’utilisant comme « concierge numérique » pour divers environnements, notamment les maisons intelligentes, les salles de cinéma privées et les bureaux intelligents. La capacité du système à identifier les émotions individuelles dans différentes situations permet de fournir des recommandations personnalisées pour la musique, les films et les livres.
Le professeur Kim a souligné : « Pour une interaction efficace entre les humains et les machines, les dispositifs d’interface homme-machine (IHM) doivent être capables de collecter divers types de données et de gérer des informations intégrées complexes. Cette étude illustre le potentiel de l’utilisation des émotions, qui sont des formes complexes d’interaction humaine. informations, dans les systèmes portables de nouvelle génération.
La recherche est publiée dans la revue Communications naturelles.
