L'IA pourrait maintenant être aussi bonne que les humains à détecter l'émotion, le penchant politique et le sarcasme dans les conversations en ligne

Lorsque nous écrivons quelque chose à une autre personne, par e-mail ou peut-être sur les réseaux sociaux, nous ne pouvons pas dire directement les choses, mais nos paroles peuvent plutôt transmettre une signification latente – un sous-texte sous-jacent. Nous espérons aussi souvent que ce sens viendra au lecteur.

Mais que se passe-t-il si un système d'intelligence artificielle (IA) est à l'autre bout, plutôt qu'une personne? L'IA, en particulier l'IA conversationnelle, peut-elle comprendre le sens latent dans notre texte? Et si oui, qu'est-ce que cela signifie pour nous?

L'analyse du contenu latent est un domaine d'étude concernant la découverte des significations, des sentiments et des subtilités plus profonds intégrés dans le texte. Par exemple, ce type d'analyse peut nous aider à saisir les tendances politiques présentes dans les communications qui ne sont peut-être pas évidentes pour tout le monde.

Comprendre à quel point les émotions de quelqu'un sont intenses ou s'ils sont sarcastiques peuvent être cruciaux pour soutenir la santé mentale d'une personne, l'amélioration du service client et même le maintien des gens au niveau national.

Ce ne sont que quelques exemples. Nous pouvons imaginer des avantages dans d'autres domaines de la vie, comme la recherche en sciences sociales, l'élaboration des politiques et les affaires. Compte tenu de l'importance de ces tâches – et de la rapidité avec laquelle l'IA conversationnelle s'améliore – il est essentiel d'explorer ce que ces technologies peuvent (et ne peuvent pas) faire à cet égard.

Le travail sur cette question ne fait que commencer. Les travaux actuels montrent que Chatgpt a connu un succès limité à la détection de tendances politiques sur les sites de nouvelles. Une autre étude qui s'est concentrée sur les différences de détection du sarcasme entre différents modèles de grandes langues – la technologie derrière les chatbots d'IA tels que le chatgpt – a fait entendre que certains sont meilleurs que d'autres.

Enfin, une étude a montré que les LLM peuvent deviner la «valence» émotionnelle des mots – le «sentiment» inhérent positif ou négatif qui leur est associé. Notre nouvelle étude publiée dans Scientific Reports a testé si l'IA conversationnelle, y compris le GPT-4 – une version relativement récente de Chatgpt – peut lire entre les lignes des textes écrits par l'homme.

L'objectif était de découvrir dans quelle mesure les LLM simulent bien la compréhension du sentiment, du penchoir politique, de l'intensité émotionnelle et du sarcasme – englobant les significations latentes multiples dans une étude. Cette étude a évalué la fiabilité, la cohérence et la qualité de sept LLMS, notamment GPT-4, Gemini, Llama-3.1-70b et Mixtral 8 × 7B.

Nous avons constaté que ces LLM sont à peu près aussi bonnes que les humains à analyser le sentiment, le penchant politique, l'intensité émotionnelle et la détection du sarcasme. L'étude a impliqué 33 sujets humains et évalué 100 éléments de texte organisés.

Pour repérer les tendances politiques, le GPT-4 était plus cohérent que les humains. Cela compte dans des domaines comme le journalisme, les sciences politiques ou la santé publique, où un jugement incohérent peut fausser les conclusions ou manquer des modèles.

Le GPT-4 s'est également avéré capable de reprendre l'intensité émotionnelle et surtout de la valence. Qu'un tweet ait été composé par quelqu'un qui était légèrement ennuyé ou profondément indigné, l'IA pourrait le dire – bien que, quelqu'un devait encore confirmer si l'IA était correcte dans son évaluation. C'est parce que l'IA a tendance à minimiser les émotions. Le sarcasme est resté une pierre d'achoppement à la fois pour les humains et les machines.

L'étude n'a trouvé aucun gagnant clair là-bas – donc l'utilisation des évaluateurs humains n'aide pas beaucoup dans la détection du sarcasme.

Pourquoi est-ce important? D'une part, l'IA comme GPT-4 pourrait réduire considérablement le temps et le coût de l'analyse de grands volumes de contenu en ligne. Les spécialistes des sciences sociales passent souvent des mois à analyser le texte généré par les utilisateurs pour détecter les tendances. Le GPT-4, en revanche, ouvre la porte à des recherches plus rapides et plus réactives, surtout importantes lors des crises, des élections ou des urgences de santé publique.

Les journalistes et les vérificateurs des faits pourraient également en bénéficier. Des outils propulsés par le GPT-4 pourraient aider à signaler des messages émotionnellement chargés ou politiquement inclinés en temps réel, donnant aux salles de rédaction une longueur d'avance.

Il y a encore des préoccupations. La transparence, l'équité et les tendances politiques dans l'IA restent des problèmes. Cependant, des études comme celle-ci suggèrent que lorsqu'il s'agit de comprendre le langage, les machines nous rattrapent rapidement – et pourraient bientôt être des coéquipiers précieux plutôt que de simples outils.

Bien que ce travail ne prétend pas que l'IA conversationnelle puisse remplacer complètement les évaluateurs humains, il conteste l'idée que les machines sont sans espoir pour détecter les nuances.

Les résultats de notre étude soulèvent des questions de suivi. Si un utilisateur pose la même question de l'IA de plusieurs manières – peut-être en reformulant subtilement les invites, en modifiant l'ordre d'information ou en peaufinant la quantité de contexte fournie – les jugements et les notes sous-jacents du modèle resteront-ils cohérents?

Des recherches supplémentaires devraient inclure une analyse systématique et rigoureuse de la stabilité des résultats des modèles. En fin de compte, la compréhension et l'amélioration de la cohérence sont essentielles pour déployer des LLM à grande échelle, en particulier dans les paramètres à enjeux élevés.