Faire votre coming-out auprès d'un chatbot ? Des chercheurs explorent les limites des chatbots de santé mentale dans les communautés LGBTQ+

Aujourd'hui, il existe des dizaines de chatbots à grand modèle de langage (LLM) destinés aux soins de santé mentale, abordant tout, de la solitude chez les personnes âgées à l'anxiété et à la dépression chez les adolescents.

Mais l’efficacité de ces applications n’est pas claire. Ce qui est encore plus flou, c’est la manière dont ces applications fonctionnent pour soutenir des groupes spécifiques et marginalisés comme les communautés LGBTQ+.

Une équipe de chercheurs de la Harvard John A. Paulson School of Engineering and Applied Sciences, de l'Université Emory, de l'Université Vanderbilt et de l'Université de Californie à Irvine, a découvert que même si les grands modèles de langage peuvent offrir un support rapide et à la demande, ils ne parviennent souvent pas à comprendre les défis spécifiques auxquels sont confrontés de nombreux membres de la communauté LGBTQ+.

Cet échec pourrait conduire le chatbot à donner des conseils au mieux inutiles et au pire dangereux.

Le document est présenté cette semaine à la conférence de l'ACM (Association of Computing Machinery) sur les facteurs humains dans les systèmes informatiques à Honolulu, Hawai'i.

Les chercheurs ont interrogé 31 participants – 18 s’identifiant comme LGBTQ+ et 13 comme non LGBTQ+ – sur leur utilisation des chatbots basés sur LLM pour le soutien en santé mentale et sur la manière dont les chatbots répondaient à leurs besoins individuels.

D’une part, de nombreux participants ont indiqué que les chatbots offraient un sentiment de solidarité et un espace sûr pour explorer et exprimer leur identité. Certains ont utilisé les chatbots pour s’entraîner à sortir avec leurs amis et leur famille, d’autres pour s’entraîner à inviter quelqu’un à sortir pour la première fois.

Mais de nombreux participants ont également souligné les lacunes des programmes.

Un participant a écrit : « Je ne pense pas me souvenir d'un moment où cela m'a donné une solution. Ce sera juste de l'empathie. Ou peut-être, si je lui disais que je suis contrarié par le fait que quelqu'un soit homophobe. peut-être parler à cette personne. Mais la plupart du temps, c'est simplement : « Je suis désolé de ce qui vous est arrivé. »

« La nature passe-partout des réponses des chatbots met en évidence leur incapacité à reconnaître les identités et expériences LGBTQ+ complexes et nuancées, ce qui donne l'impression que les suggestions des chatbots sont émotionnellement désengagées », a déclaré Zilin Ma, doctorant. étudiant à SEAS et co-premier auteur de l'article.

Parce que ces chatbots ont tendance à être des flagorneurs, a déclaré Ma, ils sont en fait très mauvais pour simuler l'hostilité, ce qui les rend mal adaptés à des conversations potentiellement difficiles comme le coming out.

Ils ont également donné à certains participants des conseils extrêmement mauvais : dire à une personne de quitter son emploi après avoir été victime d'homophobie au travail, sans tenir compte des conséquences financières ou personnelles.

Ma, qui travaille dans le laboratoire de Krzysztof Gajos, professeur d'informatique Gordon McKay, a souligné que même s'il existe des moyens d'améliorer ces programmes, ce n'est pas une panacée.

« Il existe des moyens d'améliorer ces limitations en ajustant les LLM pour les contextes pertinents pour les utilisateurs LGBTQ+ ou en mettant en œuvre des garde-fous contextuels ou en mettant régulièrement à jour les boucles de rétroaction, mais nous nous demandons si cette tendance à mettre en œuvre la technologie à chaque aspect du problème social est la bonne. approche », a déclaré Ma.

« Nous pouvons optimiser tous ces LLM autant que nous le souhaitons, mais il existe des aspects de la santé mentale LGBTQ+ qui ne peuvent pas être résolus avec les chatbots LLM, comme la discrimination, le harcèlement, le stress lié au coming out ou le manque de représentation. Pour cela, nous avons besoin d'une approche holistique. système de soutien pour les personnes LGBTQ+.

Un domaine dans lequel les chatbots LLM pourraient être utiles est la formation de conseillers humains ou de modérateurs de communautés en ligne.

« Plutôt que de demander aux adolescents en crise de parler directement au chatbot, vous pourriez utiliser le chatbot pour former des conseillers », a déclaré Ma. « Ensuite, vous avez un véritable humain à qui parler, mais cela donne du pouvoir aux conseillers grâce à la technologie, ce qui est une solution socio-technique qui, je pense, fonctionne bien dans ce cas. »

« La recherche en santé publique suggère que les interventions qui ciblent directement les individus concernés, comme les chatbots destinés à améliorer le bien-être individuel, risquent de laisser de côté les personnes les plus vulnérables », a déclaré Gajos. « Il est plus difficile, mais potentiellement plus efficace, de changer les communautés elles-mêmes en formant des conseillers ou des modérateurs de communautés en ligne. »

La recherche a été co-écrite par Yiyang Mei, Yinru Long, Zhaoyuan « Nick » Su et Gajos.