Un modèle de transition d'état mental évolutif aide les algorithmes d'apprentissage automatique à suivre les émotions

Cherchant à améliorer le suivi automatique des émotions, qui détecte et surveille les émotions au fil du temps, un groupe de chercheurs dans le domaine de l'interaction homme-ordinateur a décidé d'aborder la tâche en modélisant les changements dans les émotions internes plutôt qu'en interprétant uniquement les signaux émotionnels externes.

En s'appuyant sur des connaissances issues de la psychologie, ils ont développé le modèle de transition d'état mental évolutif, un modèle qui intègre un réseau de transition d'état mental. Ils ont testé son efficacité sur deux ensembles de données émotionnelles multimodales, produisant des résultats sensiblement plus précis que les alternatives existantes.

Leurs recherches ont été publiées le 8 avril 2024 dans Informatique intelligente.

Outre sa précision, le modèle de transition évolutive des états mentaux pour le suivi des émotions présente un autre avantage : son temps de calcul réduit et son encombrement réduit. Le modèle comporte moins de paramètres que les autres modèles publiés, ce qui le rend « adapté au déploiement sur des appareils mobiles et des robots », selon les auteurs.

Les applications du suivi des émotions dans la vie quotidienne incluent la surveillance de l'opinion publique, les communications marketing, la surveillance de la santé mentale et l'éducation en ligne. Des extensions du modèle des auteurs pourraient être développées pour personnaliser le suivi des émotions afin de prendre en compte les variations individuelles des fluctuations émotionnelles. Les travaux dans cette direction s'appuieraient sur la nature psychologiquement réaliste du modèle, qui tente de saisir la « dynamique naturelle des émotions et leur impact sur les états mentaux ».

Le système de suivi des émotions des auteurs se compose de plusieurs étapes :

1. Reconnaissance de formes multimodales basée sur le langage, la vision et les entrées acoustiques
2. Fusion de fonctionnalités dans un transformateur
3. Mise en commun pour calculer « l'énergie émotionnelle externe » (émotion apparente)
4. Détermination de l'émotion réelle à l'aide d'un réseau unique de transition d'état mental

Dans le modèle de transition d'état mental évolutif, les caractéristiques linguistiques, visuelles et acoustiques sont d'abord extraites des données et codées, en conservant leur ordre chronologique. Ensuite, des blocs d'attention croisée multi-têtes sont utilisés pour fusionner les caractéristiques à chaque pas de temps ; il s'agit de l'étape la plus gourmande en calcul. Troisièmement, le regroupement maximal et le regroupement moyen, deux variétés d'une technique courante d'apprentissage profond, sont utilisés pour la réduction de la dimensionnalité, et les caractéristiques sont transformées en énergie émotionnelle externe à chaque pas de temps.

Enfin, le réseau de transition de l'état mental est utilisé pour prendre en compte les modèles de changement des émotions du sujet au fil du temps, ainsi que l'énergie émotionnelle externe, afin de déterminer l'état émotionnel réel à un pas de temps particulier.

Le réseau a été construit sur un ensemble de probabilités résultant de données collectées auprès de 200 participants sur les associations entre différentes paires d'émotions. Il prédit l'état émotionnel en partie en pondérant les contributions de plusieurs émotions simultanées plutôt qu'en supposant qu'un sujet n'en ressent qu'une seule.

Les performances du modèle de transition d'état mental évolutif ont été comparées à celles d'un certain nombre de méthodes de base à l'aide de tâches de classification basées sur deux grands ensembles de données, l'ensemble de données CMU Multimodal Opinion Sentiment and Emotion Intensity et le Ren Chinese Emotion Corpus. L'ensemble de données CMU, composé de monologues enregistrés en anglais, identifie le bonheur, la tristesse, la colère, le dégoût, la surprise et la peur. Le corpus chinois se compose de textes de blog et a été utilisé pour tester le composant du réseau de transition d'état mental.