Des chercheurs surpris par les stéréotypes de genre dans ChatGPT

Un étudiant du DTU a analysé ChatGPT et a révélé que le service en ligne est extrêmement stéréotypé en ce qui concerne les rôles de genre. L’analyse est la première étape vers la fourniture aux développeurs d’IA d’un outil permettant de tester tous les types de préjugés discriminatoires.

Cela a fait beaucoup de bruit lorsque ChatGPT a été lancé en 2022, donnant à toute personne ayant accès à Internet la possibilité d'utiliser l'intelligence artificielle pour créer des textes et répondre à des questions. Notamment parce que ChatGPT « se comporte » comme un humain et fournit des réponses qu'un collègue ou un ami aurait pu écrire.

Au cours de ses études au DTU, Sara Sterlie s'est concentrée sur l'intelligence artificielle et s'est rapidement intéressée à l'enquête sur les préjugés de ChatGPT en relation avec les stéréotypes de genre. Cela peut paraître simple, mais pour y parvenir, elle a dû d’abord développer une méthode permettant de réaliser des expériences pertinentes.

« Lorsque Sara m'a contacté avec ses idées pour son projet, j'ai immédiatement été intéressé et j'ai accepté d'être son superviseur. Je travaille déjà avec des biais en intelligence artificielle, mais je n'avais jamais travaillé avec des modèles de langage comme ChatGPT », explique le professeur Aasa Feragen. , qui travaille principalement sur les biais de l'intelligence artificielle utilisée pour le traitement des images médicales.

Adapter une méthode pour ChatGPT

Comme point de départ, Sara Sterlie a choisi les critères de non-discrimination, une méthode reconnue pour analyser les biais dans un autre type de modèle d'intelligence artificielle qui classe le matériel, par exemple pour évaluer les images médicales. Il est facile d’entraîner ce modèle à connaître la différence entre des radiographies montrant des poumons sains ou malades, par exemple. Il est alors possible de mesurer si le modèle de classification présente trop de réponses incorrectes, par exemple selon que l'image est celle d'un homme ou d'une femme.

« ChatGPT est différent dans le sens où il ne fournit pas de réponses prévisibles qui s'intègrent parfaitement dans des catégories. De plus, lorsque nous posons une question au modèle, il n'y a pas toujours de réponse intrinsèquement vraie, comme dans les tâches de classification. Les méthodes habituellement utilisées pour mesurer les biais sont donc pas directement applicable à des modèles comme ChatGPT. J'ai voulu une base solide pour mon enquête et j'ai choisi de développer des méthodes en réinterprétant les critères de non-discrimination », explique Sara Sterlie.

Sara Sterlie a choisi de développer des méthodes simplifiées pour ne considérer que le genre masculin et féminin. Elle a défini des exigences statistiques et conçu des questions ou invites expérimentales, comme on les appelle, en mettant l'accent sur les préjugés sexistes, qu'elle a testés sur des modèles GPT.

« La première était une série de messages structurés, axés sur les stéréotypes professionnels. Je voulais tester quel sexe le modèle associait à différents emplois. Ma première expérience demandait au modèle de préciser le travail d'une personne en lui donnant un nom masculin ou féminin », explique Sara Sterlie.

Des réponses biaisées

Le résultat a été une répartition beaucoup plus stéréotypée en matière de genre que celle que nous connaissons dans la société actuelle, avec des femmes principalement assignées à des titres de poste tels que graphiste, créateur de mode ou infirmière et des hommes à des titres de poste tels que ingénieur logiciel, architecte et cadre.

Un autre type de message concernait les fonctions typiques des professions qui travaillent en étroite collaboration, par exemple les médecins et les infirmières ou les pilotes et les agents de bord. Les résultats des centaines d'expériences menées par Sara Sterlie pour chaque invite ont montré que ChatGPT a du mal à associer les pronoms masculins aux infirmières et encore plus difficile à laisser les pronoms féminins assumer les tâches d'un pilote consistant à préparer un avion à l'atterrissage.

En outre, Sara Sterlie a également mené des expériences avec des invites non structurées, demandant à ChatGPT de décrire les passe-temps d'un certain nombre d'élèves du secondaire avec respectivement des noms de garçons et de filles. Sterlie a ensuite analysé les réponses, en examinant, entre autres, la fréquence à laquelle un mot ou une phrase apparaît dans un texte. Il est devenu évident que parmi les 400 réponses, il y avait un nombre inhabituellement élevé d'étudiantes qui s'engageaient dans un travail bénévole auprès des animaux, tandis que les étudiants de sexe masculin étaient particulièrement intéressés par la technologie et la science.

« Toutes mes expériences ont montré à l'unanimité que ChatGPT présente un net préjugé sexiste, à la fois lorsqu'il est interrogé de manière structurée et non structurée », déclare Sara Sterlie.

Les chercheurs surpris

Sara Sterlie et ses deux superviseurs, Aasa Feragen et Nina Weng, qui travaillent également dans le domaine du traitement d'images médicales, avaient partiellement prédit le résultat des expériences.

« Nous nous attendions à certains préjugés sexistes, car ChatGPT est formé sur du matériel provenant d'Internet qui reflète dans une certaine mesure les stéréotypes de genre que nous connaissons depuis de nombreuses années. Mais j'ai été très surpris de voir l'étendue des préjugés, en particulier en ce qui concerne le « Il y a un lien entre le genre et les types d'emploi. C'est très loin de la répartition dans la société moderne », déclare Nina Weng.

Sara Sterlie et ses superviseurs travaillent actuellement à la rédaction d'un article scientifique sur leurs découvertes.

« Pour autant que je sache, nous sommes les premiers à avoir effectué ce type d'analyse. Notre objectif à long terme en tant que chercheurs est de développer des méthodes et des outils qui peuvent être utilisés par les développeurs derrière des modèles de langage comme ChatGPT pour éviter les biais en termes de termes. de sexe, de race, de nationalité, etc. Nous n'en sommes pas encore là, mais les expériences de Sara sont la première étape », déclare Nina Weng.

Aasa Feragen ajoute qu'elle espère que les méthodes de Sara Sterlie lanceront un débat mondial sur la manière d'éviter les préjugés dans l'intelligence artificielle.

Garantir l’équité

S'intéresser à découvrir et à éviter les biais dans ChatGPT et dans des modèles d'intelligence artificielle générative similaires ne revient pas à critiquer la nouvelle technologie, déclarent Sara Sterlie et Nina Weng, qui utilisent toutes deux ChatGPT, par exemple, pour résumer les principaux points d'un texte. Ils sont plutôt passionnés par la garantie de l’équité des textes ou des images générés par le modèle linguistique et d’autres modèles d’intelligence artificielle générative.

« L'utilisation croissante de l'intelligence artificielle pour créer des textes ou des images affectera notre perception du monde qui nous entoure. Les IA comme ChatGPT sont formées sur de grandes quantités de données et fournissent des réponses qui ressemblent aux modèles de leurs données d'entraînement. Cela signifie que si vous ne le faites pas, Si vous ne correspondez pas aux normes de la personne moyenne en termes de sexualité, de type de famille ou de préférences personnelles, qui dominent généralement dans les données de formation, vous ne serez généralement pas représenté dans les articles, etc. produits par ces modèles d'IA », explique Sara. Stérile.

Les chercheurs veulent créer les bases de l’équité afin de garantir qu’à l’avenir l’intelligence artificielle n’exclut pas la représentation d’autres groupes.