Surexathisation et biais de genre découverts

Vous pouvez parler à un chatbot d’IA à peu près n’importe quoi, de l’aide aux tâches quotidiennes aux problèmes que vous pourriez avoir besoin pour résoudre. Ses réponses reflètent les données humaines qui lui ont appris à agir comme une personne; Mais comment sont vraiment les derniers chatbots?

Alors que les gens se tournent vers les chatbots d’IA pour plus de leurs besoins sur Internet et que les robots sont intégrés dans plus d’applications, des achats aux soins de santé, une équipe de chercheurs a cherché à comprendre comment les robots de l’IA reproduisent l’empathie humaine, qui est la capacité de comprendre et de partager les sentiments d’une autre personne.

Une étude publiée sur le arxiv Preprint Server et dirigé par UC Santa Cruz Professeur de médias informatiques Magy Seif El-Nasr et chercheur de l’Université de Stanford et érudit visitant Mahnaz Roshanaei, explore comment GPT-4O, le dernier modèle d’Openai, évalue et effectue de l’empathie. En étudiant les principales différences entre les humains et l’IA, ils constatent qu’il existe des lacunes majeures.

Ils ont constaté que Chatgpt dans l’ensemble a tendance à être trop empathique par rapport aux humains; Cependant, ils ont constaté qu’il ne parvient pas à sympathiser pendant les moments agréables, un modèle qui exagère les tendances humaines. Ils ont également trouvé que le bot sympathisait davantage lorsqu’on lui a dit à la personne à laquelle il répondait était une femme.

« Cette constatation est très intéressante et justifie plus d’études et d’exploration et il découvre certains des biais des LLM », a déclaré Seif El-Nasr. « Il serait intéressant de tester si un tel biais existe dans les modèles ultérieurs de GPT ou d’autres modèles d’IA. »

Horming dans l’empathie

Les chercheurs de ce projet sont largement intéressés par l’interaction entre les chatbots d’IA et la santé mentale. Comme l’empathie a été étudiée par des psychologues depuis des décennies, ils ont apporté des méthodes et des leçons de ce domaine dans leur étude de l’interaction humaine-ordinateur.

« Lorsque les gens interagissent directement avec les agents de l’IA, il est très important de comprendre l’écart entre les humains et l’IA en termes d’empathie – comment il peut comprendre et exprimer plus tard l’empathie, et quelles sont les principales différences entre les humains et l’IA », a déclaré Roshanaei.

Pour ce faire, les chercheurs ont demandé à la fois à un groupe d’humains et à GPT-4O de lire les nouvelles de l’homme positif et négatif, et d’évaluer leur empathie envers chaque histoire sur une échelle de 1 à 5, et ont comparé les réponses. Les histoires sont venues de véritables expériences humaines, recueillies auprès des étudiants lorsque Roshanaei était postdoct et s’est complètement anonyme.

Ils ont également fait effectuer la même tâche de notation après avoir été affecté à un « personnage »: être invité avec l’histoire avec un ensemble de traits, notamment un genre, une perspective ou une similitude d’expériences. Enfin, ils ont demandé aux bots d’effectuer la tâche de notation après avoir été « affinée », le processus de recommandation d’un modèle déjà formé comme Chatgpt avec un ensemble de données spécifique pour l’aider à effectuer une tâche.

Biais et exagérément

Dans l’ensemble, les chercheurs ont constaté que le GPT-4O manque en profondeur dans l’offre de solutions, de suggestions ou de raisonnement – ce qui est appelé empathie cognitive.

Cependant, lorsqu’il s’agit d’offrir une réponse émotionnelle, le GPT-4O est trop empathique, en particulier en réponse à des histoires tristes.

« C’est très émotif en termes de sentiments négatifs, il essaie d’être très gentil », a déclaré Roshanaei. « Mais quand une personne parle d’événements très positifs qui leur arrivent, cela ne semble pas s’en soucier. »

Les chercheurs ont remarqué que cette examen excessive était présente lorsqu’il a dit que la personne avec laquelle il bavardait était une femme et était plus similaire à une réponse humaine typique lorsqu’on lui a dit que la personne était un homme. Les chercheurs pensent que c’est parce que l’IA imite et exagère les biais de genre qui existent dans les matériaux de fabrication humaine à partir desquels il apprend.

« Encore une fois, c’est l’un de ces résultats intéressants qui nécessitent une exploration plus approfondie entre les modèles d’IA commerciaux », a déclaré Seif El-Nasr. « Si un tel biais est cohérent, il serait important que les entreprises le sachent, en particulier les entreprises qui utilisent de tels modèles pour le soutien émotionnel, la santé mentale et la régulation des émotions. »

« Il y a beaucoup de papiers qui montrent des préjugés de genre et des préjugés raciaux dans GPT », a déclaré Roshanaei. « Cela se produit parce que les données proviennent des humains et que les humains ont des préjugés envers les autres humains. »

Cependant, les chercheurs ont constaté que le GPT-4O devenait plus humain dans l’évaluation de l’empathie après le processus de réglage fin. Les chercheurs croient que c’est parce que l’alimentation de GPT-4O une gamme d’histoires a permis à l’AI de faire quelque chose de naturel humain: comparer les expériences personnelles à celle des autres, en s’appuyant sur ses propres couches d’expériences pour imiter le comportement de l’homme envers un autre.

« La plus grande leçon que j’ai obtenue de cette expérience est que GPT doit être affiné pour apprendre à être plus humain », a déclaré Roshanaei. « Même avec tous ces big data, ce n’est pas humain. »

Amélioration de l’IA

Ces résultats pourraient avoir un impact sur la façon dont l’IA est intégrée dans les domaines de la vie tels que les soins de santé mentale. Les chercheurs croient fermement que l’IA ne devrait jamais remplacer les humains dans les soins de santé, mais peut être en mesure de servir de médiateur dans les cas où une personne n’est pas disponible pour répondre immédiatement en raison de facteurs tels que l’heure de la journée et l’emplacement physique.

Cependant, cela sert d’avertissement que la technologie n’est pas tout à fait prête à être utilisée avec des populations sensibles telles que les adolescents ou ceux qui ont des problèmes de santé mentale diagnostiqués cliniquement.

Pour ceux qui travaillent dans l’IA, cette étude montre qu’il y a encore beaucoup de travail à l’avance pour améliorer les chatbots.

« Il s’agit d’une évaluation qui montre que même si l’IA est incroyable, elle a encore beaucoup de grandes lacunes par rapport aux humains », a déclaré Roshanaei. « Il a beaucoup de place à l’amélioration, nous devons donc y travailler. »