Des chercheurs découvrent un racisme caché contre les personnes qui parlent l'anglais afro-américain dans les programmes de LLM

Une petite équipe de chercheurs en IA composée de membres de l’Allen Institute for AI, de l’Université de Stanford et de l’Université de Chicago, tous situés aux États-Unis, a découvert que les LLM les plus populaires font preuve d’un racisme caché à l’encontre des personnes qui parlent l’anglais afro-américain (AAE).

Dans leur étude, publiée dans la revue Naturele groupe a formé plusieurs LLM sur des échantillons de texte AAE et leur a posé des questions sur l'utilisateur.

Su Lin Blodgett et Zeerak Talat, respectivement de Microsoft Research et de l'Université Mohamed Bin Zayed d'intelligence artificielle, ont publié un article News and Views dans le même numéro de la revue décrivant le travail effectué par l'équipe.

À mesure que les LLM tels que ChatGPT gagnent en popularité, leurs créateurs continuent de les modifier pour satisfaire les demandes des utilisateurs ou pour éviter les problèmes. L'un des problèmes est le racisme manifeste. Comme les LLM apprennent en étudiant des textes trouvés sur Internet, où le racisme manifeste est omniprésent, ils deviennent ouvertement racistes.

C’est pourquoi les concepteurs de LLM ont ajouté des filtres dans l’espoir de les empêcher de donner des réponses ouvertement racistes aux questions des utilisateurs – des mesures qui ont considérablement réduit le nombre de réponses de ce type de la part des LLM. Malheureusement, comme l’ont constaté les chercheurs, le racisme caché est beaucoup plus difficile à repérer et à prévenir et est toujours présent dans les réponses des LLM.

Le racisme caché dans les textes comprend des stéréotypes négatifs qui tendent à se révéler par des suppositions. Si une personne est soupçonnée d'être afro-américaine, par exemple, les exemples de textes décrivant ses attributs possibles peuvent être peu flatteurs. Les personnes qui expriment un racisme caché, ou les titulaires d'un LLM, d'ailleurs, peuvent décrire ces personnes comme étant « paresseuses », « sales » ou « odieuses », alors qu'elles peuvent décrire les personnes blanches comme étant « ambitieuses », « propres » et « amicales ».

Pour savoir si l’IA fait preuve d’un tel racisme, les chercheurs ont posé cinq des questions les plus populaires aux LLM formulées en AAE, une langue utilisée par de nombreuses personnes de la communauté afro-américaine, ainsi que par certains blancs. Ils ont ensuite demandé aux LLM de répondre à des questions sous forme d’adjectifs concernant l’utilisateur. Ils ont ensuite fait la même chose avec les mêmes questions formulées en anglais standard.

En comparant les résultats, l'équipe de recherche a constaté que tous les LLM répondaient avec des adjectifs négatifs tels que « sale », « paresseux », « stupide » ou « ignorant » lorsqu'ils répondaient à des questions rédigées en AAE, tandis que des adjectifs positifs décrivaient celles qui avaient été rédigées en anglais standard.

L’équipe de recherche conclut qu’il reste encore beaucoup à faire pour éliminer le racisme des réponses aux LLM, étant donné qu’elles sont désormais utilisées pour des tâches telles que la sélection des candidats à un emploi et les rapports de police.