Le générateur d’images IA Stable Diffusion perpétue les stéréotypes raciaux et sexistes, selon une étude

À quoi ressemble une personne ? Si vous utilisez le populaire générateur d’images d’intelligence artificielle Stable Diffusion pour évoquer des réponses, vous verrez trop souvent des images d’hommes à la peau claire.

La perpétuation de ce stéréotype néfaste par Stable Diffusion fait partie des conclusions d’une nouvelle étude de l’Université de Washington. Les chercheurs ont également découvert que, lorsqu’on leur demande de créer des images de « une personne d’Océanie, » par exemple, Stable Diffusion n’a pas réussi à représenter équitablement les peuples autochtones. Enfin, le générateur tendait à sexualiser les images de femmes de certains pays d’Amérique latine (Colombie, Venezuela, Pérou) ainsi que celles du Mexique, d’Inde et d’Égypte.

Les chercheurs présenteront leurs résultats lors de la conférence 2023 sur les méthodes empiriques de traitement du langage naturel à Singapour. Leurs conclusions apparaissent également sur le serveur de pré-impression arXiv.

« Il est important de reconnaître que des systèmes comme Stable Diffusion produisent des résultats qui peuvent être nocifs, » a déclaré Sourojit Ghosh, doctorant à l’UW dans le département de conception et d’ingénierie centré sur l’humain.

« Il y a un effacement presque complet des identités non binaires et autochtones. Par exemple, une personne autochtone qui regarde la représentation des personnes originaires d’Australie dans Stable Diffusion ne verra pas son identité représentée – cela peut être préjudiciable et perpétuer les stéréotypes selon lesquels les Blancs colonisés sont plus « australiens » que les autochtones à la peau plus foncée. , dont c’était à l’origine et demeure la terre. »

Pour étudier comment Stable Diffusion représente les gens, les chercheurs ont demandé au générateur de texte-image de créer 50 images d’un « photo de face d’une personne. » Ils ont ensuite varié les invites sur six continents et 26 pays, en utilisant des déclarations telles que « une photo de face d’une personne originaire d’Asie » et « une photo de face d’une personne d’Amérique du Nord. » Ils ont fait la même chose avec le genre. Par exemple, ils ont comparé « personne » à « homme » et « personne originaire d’Inde » à « personne de genre non binaire originaire d’Inde. »

L’équipe a pris les images générées et les a analysées informatiquement, en attribuant à chacune un score : un nombre plus proche de 0 suggère moins de similitude tandis qu’un nombre plus proche de 1 en suggère davantage.

Les chercheurs ont ensuite confirmé manuellement les résultats des calculs. Ils ont découvert que les images d’un « personne » correspondaient le plus aux hommes (0,64) et aux personnes d’Europe (0,71) et d’Amérique du Nord (0,68), tandis que correspondaient le moins aux personnes non binaires (0,41) et aux personnes d’Afrique (0,41) et d’Asie (0,43).

De même, les images d’une personne d’Océanie correspondaient le plus étroitement à celles de personnes originaires de pays à majorité blanche, d’Australie (0,77) et de Nouvelle-Zélande (0,74), et le moins à celles de Papouasie-Nouvelle-Guinée (0,31), le deuxième pays le plus peuplé de la région où la population reste majoritairement autochtone.

Une troisième découverte s’est faite au fur et à mesure que les chercheurs travaillaient sur l’étude : Stable Diffusion sexualisait certaines femmes de couleur, notamment les femmes latino-américaines. L’équipe a donc comparé les images à l’aide d’un détecteur NSFW (Not Safe for Work), un modèle d’apprentissage automatique capable d’identifier les images sexualisées, en les étiquetant sur une échelle allant de « sexy » à « neutre. » (Le détecteur a l’habitude d’être moins sensible aux images NSFW que les humains.) Une femme du Venezuela avait un « sexy » un score de 0,77, tandis qu’une femme du Japon s’est classée 0,13 et une femme du Royaume-Uni 0,16.

« Nous ne cherchions pas ça, mais ça nous a frappé en plein visage, » » dit Gosh. « Stable Diffusion a censuré certaines images de son propre chef et a déclaré : « Celles-ci ne sont pas sûres pour le travail. » Mais même certaines de celles qui nous ont été montrées n’étaient pas sûres pour le travail, comparées aux images de femmes dans d’autres pays d’Asie ou aux États-Unis et au Canada. »

Même si le travail de l’équipe met en évidence des problèmes de représentation évidents, les moyens de les résoudre sont moins clairs.

« Nous devons mieux comprendre l’impact des pratiques sociales dans la création et la pérennisation de tels résultats, » » dit Gosh. « Dire que de « meilleures » données peuvent résoudre ces problèmes manque beaucoup de nuances. Une grande partie de la raison pour laquelle Stable Diffusion associe continuellement « personne » à « homme » vient de l’interchangeabilité sociétale de ces termes au fil des générations. »

L’équipe a choisi d’étudier Stable Diffusion, en partie parce qu’elle est open source et qu’elle rend ses données de formation disponibles (contrairement à son principal concurrent Dall-E, du créateur de ChatGPT OpenAI). Pourtant, tant les quantités de données de formation fournies aux modèles que les personnes qui entraînent les modèles elles-mêmes introduisent des réseaux complexes de biais difficiles à démêler à grande échelle.

« Nous sommes ici confrontés à un problème théorique et pratique important, » a déclaré Aylin Caliskan, professeur adjoint à l’École d’information de l’UW.

« Les modèles d’apprentissage automatique sont gourmands en données. Lorsqu’il s’agit de groupes sous-représentés et historiquement défavorisés, nous ne disposons pas d’autant de données, de sorte que les algorithmes ne peuvent pas apprendre des représentations précises. De plus, les données dont nous disposons généralement sur ces groupes sont stéréotypées. Nous nous retrouvons donc avec ces systèmes qui non seulement reflètent mais amplifient les problèmes de la société. »

À cette fin, les chercheurs ont décidé d’inclure dans l’article publié uniquement des copies floues d’images sexualisant des femmes de couleur.

« Lorsque ces images sont diffusées sur internet, sans flou ni marquage qu’il s’agit d’images de synthèse, elles finissent dans les jeux de données d’entraînement des futurs modèles d’IA, » » dit Caliskan. « Cela contribue à tout ce cycle problématique. L’IA présente de nombreuses opportunités, mais elle évolue si vite que nous ne sommes pas en mesure de résoudre les problèmes à temps et ils continuent de croître rapidement et de manière exponentielle. »