Éliminer les préjugés anti-queer dans la prédiction de texte

La prédiction de texte moderne est loin d’être parfaite – prenez, par exemple, lorsqu’une requête de recherche suggère quelque chose de complètement différent de votre intention. Mais le problème ne s’arrête pas à l’inexactitude. La prédiction de texte peut également être extrêmement exclusive ou biaisée lorsqu’il s’agit de prédire les résultats liés aux communautés marginalisées.

Une équipe de chercheurs de l’USC Viterbi School of Engineering Information Sciences Institute et de l’USC Annenberg School for Communication and Journalism, dirigée par Katy Felkner, titulaire d’un doctorat de l’USC Viterbi. en informatique et récipiendaire d’une bourse de recherche de la National Science Foundation, a développé un système pour quantifier et corriger le biais anti-queer dans l’intelligence artificielle derrière la prédiction de texte.

Le projet, présenté par Felkner lors de l’atelier Queer in AI à la conférence North American Chapter of the Association for Computational Linguistics (NAACL) en juillet, examine à la fois la détection et la réduction des préjugés anti-queer dans un grand modèle de langage, qui est utilisé dans tout, des barres de recherche aux systèmes de traduction linguistique.

Le grand modèle de langage, ou LLM, est le « cerveau » derrière la prédiction de texte qui apparaît lorsque nous tapons quelque chose dans une barre de recherche – une intelligence artificielle qui « complète » les phrases en prédisant la chaîne de mots la plus probable qui suit une invite donnée .

Cependant, les LLM doivent d’abord être « formés » en recevant des millions d’exemples de contenu pré-écrit afin qu’ils puissent apprendre à quoi ressemblent généralement les phrases. Comme un bambin énergique, le LLM répète ce qu’il entend, et ce qu’il entend peut être hétéronormatif voire ouvertement discriminatoire.

« La plupart des LLM sont formés sur d’énormes quantités de données extraites d’Internet », a déclaré Felkner. « Ils vont capter tous les types de préjugés sociaux que vous pouvez imaginer sur le Web. »

Peu de mots, grand effet

Le projet a révélé qu’un LLM populaire appelé BERT présentait un biais homophobe important. Ce biais est mesuré par le benchmark de Felkner, qui compare la probabilité que le LLM prédise des phrases hétéronormatives par rapport à des phrases qui incluent une relation queer.

« Une sortie hétéronormative est quelque chose comme » James a tenu la main de Mary « , par opposition à » James a tenu la main de Tom «  », a déclaré Felkner. « Les deux sont des phrases valides, mais le problème est que, dans une grande variété de contextes, le modèle préfère la sortie hétéronormative. »

Bien que la différence ne soit que de quelques mots, l’effet est loin d’être négligeable.

Les résultats prédits qui parlent des personnes queer de manière stéréotypée peuvent renforcer les préjugés des utilisateurs, et le manque d’expérience du modèle avec les voix queer peut l’amener à considérer le langage queer comme obscène.

« Un problème persistant pour les personnes queer est que, bien souvent, les mots que nous utilisons pour nous décrire, ou les insultes qui ont été récupérées, sont toujours considérés comme obscènes ou trop sexuels », a déclaré Felkner, qui est également le représentant diplômé de Queers. dans le chapitre Ingénierie, Science et Technologie (QuEST) de Out in STEM à l’USC.

« Si un modèle signale régulièrement ces mots, et que ces messages sont ensuite supprimés des plateformes ou des forums sur lesquels ils se trouvent, vous faites taire la communauté queer. »

Contribution de la communauté

Pour résoudre ce problème, Felkner a donné une mise au point à BERT en l’alimentant de Tweets et d’articles de presse contenant des mots-clés LGBT+. Ce contenu utilisé pour « former » le BERT provenait de deux bases de données distinctes de la propre création de Felkner, appelées QueerTwitter et QueerNews.

Bien que le traitement du langage nécessite de très grandes quantités de données – la base de données QueerTwitter contenait plus de 2,3 millions de Tweets –, elle a pris soin de distinguer les hashtags qui étaient principalement utilisés par les personnes queer et trans, comme #TransRightsareHumanRights.

Au fur et à mesure que le modèle a été exposé à différentes perspectives et communautés, il s’est familiarisé avec le langage et les problèmes queer. En conséquence, il était plus susceptible de les représenter dans ses prévisions.

Après avoir été formé avec les nouvelles données plus inclusives, le modèle a montré beaucoup moins de biais. Les tweets de QueerTwitter se sont avérés les plus efficaces des deux bases de données, réduisant la prévalence des résultats hétéronormatifs à près de la moitié de toutes les prédictions.

« Je pense que les résultats de QueerTwitter étant plus efficaces que QueerNews témoignent de l’importance de l’implication directe de la communauté, et que les voix queer et trans – et les données de leurs communautés – seront les plus précieuses pour concevoir une technologie qui ne leur fera pas de mal. « , a déclaré Felkner. « Nous étions enthousiasmés par cette découverte car c’est une preuve empirique de cette intuition que les gens ont déjà : que ces communautés devraient avoir leur mot à dire dans la conception de la technologie. »

À l’avenir, le projet cherchera à lutter contre les préjugés qui affectent des parties spécifiques de la communauté LGBT +, en utilisant des ensembles de données plus raffinés et ciblés et des invites plus personnalisées avec lesquelles le modèle travaillera, comme la lutte contre les stéréotypes nuisibles autour des lesbiennes. À long terme, Felkner espère que le projet pourra être utilisé pour former d’autres LLM, aider les chercheurs à tester l’équité de leur traitement du langage naturel, ou même découvrir des biais complètement nouveaux.

« Nous nous occupons de la façon de lutter contre la marée de données biaisées pour comprendre à quoi ressemble » injuste « et comment le tester et le corriger, ce qui est un problème à la fois en général et pour les sous-cultures que nous ne connaissons pas. même au courant », a déclaré Jonathan May, professeur agrégé de recherche en informatique à l’USC Viterbi, conseiller de Felkner et co-auteur de l’étude. « Il existe de nombreuses façons d’étendre le travail de Katy. »

---