Les grands modèles de langage génèrent du contenu biaisé, préviennent les chercheurs
Un nouveau rapport dirigé par des chercheurs de l'UCL révèle que les outils d'intelligence artificielle (IA) les plus populaires sont discriminatoires à l'égard des femmes et des personnes de cultures et de sexualités différentes.
L'étude, commandée et publiée par l'UNESCO, a examiné les stéréotypes dans les grands modèles linguistiques (LLM). Ces outils de traitement du langage naturel sous-tendent les plates-formes d'IA générative populaires, notamment GPT-3.5 et GPT-2 d'Open AI et Llama 2 de META.
Les résultats ont montré des preuves évidentes de préjugés à l'égard des femmes dans le contenu généré par chacun des grands modèles linguistiques étudiés. Cela comprenait de fortes associations stéréotypées entre les prénoms féminins et des mots tels que « famille », « enfants » et « mari » qui sont conformes aux rôles de genre traditionnels. En revanche, les prénoms masculins étaient plus susceptibles d'être associés à des mots tels que « carrière », « cadres », « gestion » et « entreprise ».
Les auteurs ont également trouvé des preuves de notions stéréotypées basées sur le genre dans le texte généré, y compris des stéréotypes négatifs selon la culture ou la sexualité.
Une partie de l'étude a mesuré la diversité du contenu des textes générés par l'IA et destinés à un large éventail de personnes de différents genres, sexualités et origines culturelles, notamment en demandant aux plateformes d'« écrire une histoire » sur chaque personne. Les LLM open source en particulier ont tendance à attribuer des emplois plus diversifiés et de haut rang aux hommes, comme « ingénieur » ou « médecin », tout en reléguant fréquemment les femmes à des rôles traditionnellement sous-évalués ou stigmatisés, comme « domestique ». cuisinier » et « prostituée ».
Les histoires générées par Llama 2 sur les garçons et les hommes étaient dominées par les mots « trésor », « bois », « mer », « aventureux », « décidé » et « trouvé », tandis que les histoires sur les femmes utilisaient le plus souvent les mots « jardin ». , », « amour », « ressenti », « doux » et « mari ». Les femmes ont également été décrites comme travaillant dans des rôles domestiques quatre fois plus souvent que les hommes dans le contenu produit par Llama 2.
Le Dr Maria Perez Ortiz, auteur du rapport de l'UCL Computer Science et membre de la Chaire UNESCO en IA de l'équipe de l'UCL, a déclaré : « Notre recherche expose les préjugés sexistes profondément enracinés dans les grands modèles de langage et appelle à une refonte éthique dans Développement de l'IA. En tant que femme travaillant dans le domaine de la technologie, je plaide pour des systèmes d'IA qui reflètent la riche mosaïque de la diversité humaine, en veillant à ce qu'ils renforcent plutôt qu'ils ne nuisent à l'égalité des sexes.
L'équipe de la Chaire UNESCO en IA de l'UCL travaillera avec l'UNESCO pour sensibiliser l'opinion à ce problème et contribuer à l'élaboration de solutions en organisant des ateliers et des événements conjoints impliquant les parties prenantes concernées : scientifiques et développeurs de l'IA, organisations technologiques et décideurs politiques.
Le professeur John Shawe-Taylor, auteur principal du rapport de l'UCL Computer Science et de la Chaire UNESCO en IA à l'UCL, a déclaré : « En supervisant cette recherche en tant que Chaire UNESCO en IA, il est clair que la lutte contre les préjugés sexistes induits par l'IA nécessite une action concertée et mondiale. Cette étude met non seulement en lumière les inégalités existantes, mais ouvre également la voie à une collaboration internationale pour créer des technologies d'IA qui respectent les droits de l'homme et l'équité entre les sexes. Elle souligne l'engagement de l'UNESCO à orienter le développement de l'IA vers une direction plus inclusive et éthique.
Le rapport a été présenté lors de la réunion de dialogue sur la transformation numérique de l'UNESCO le 6 mars 2024 au Siège de l'UNESCO par le professeur Drobnjak, le professeur Shawe-Taylor et le Dr Daniel van Niekerk. Le professeur Drobnjak l'a également présenté au siège des Nations Unies à New York lors de la 68e session de la Commission de la condition de la femme, le plus grand rassemblement annuel de l'ONU sur l'égalité des sexes et l'autonomisation des femmes.
Le professeur Ivana Drobnjak, auteur du rapport de l'UCL Computer Science et membre de la Chaire UNESCO en IA de l'UCL, a déclaré : « L'IA apprend d'Internet et des données historiques et prend des décisions basées sur ces connaissances, qui sont souvent biaisées. Ce n'est pas parce que les femmes n'étaient pas aussi présentes que les hommes dans les sciences et l'ingénierie dans le passé, par exemple, qu'elles sont des scientifiques et des ingénieurs moins compétents. Nous devons guider ces algorithmes pour en apprendre davantage sur l'égalité, l'équité et les droits humains. droits, afin qu'ils puissent prendre de meilleures décisions.
