Selon des chercheurs, les modèles d’IA générative encodent des biais et des stéréotypes négatifs chez leurs utilisateurs

En l’espace de quelques mois, les modèles d’IA générative, tels que ChatGPT, Google’s Bard et Midjourney, ont été adoptés par de plus en plus de personnes de différentes manières professionnelles et personnelles. Mais des recherches croissantes soulignent qu’ils encodent des préjugés et des stéréotypes négatifs chez leurs utilisateurs, ainsi que génèrent et diffusent en masse des informations apparemment exactes mais absurdes. Fait inquiétant, les groupes marginalisés sont touchés de manière disproportionnée par la fabrication de ces informations absurdes.

De plus, la fabrication de masse a le potentiel d’influencer la croyance humaine à mesure que les modèles qui la motivent deviennent de plus en plus courants, peuplant le World Wide Web. Non seulement les gens récupèrent des informations sur le Web, mais une grande partie du matériel de formation principal utilisé par les modèles d’IA provient également d’ici. En d’autres termes, une boucle de rétroaction continue évolue dans laquelle les préjugés et les absurdités sont répétés et acceptés encore et encore.

Ces résultats – et un appel aux psychologues et aux experts en apprentissage automatique pour qu’ils travaillent ensemble très rapidement pour évaluer l’ampleur du problème et trouver des solutions – sont publiés aujourd’hui dans une perspective de la revue Sciencequi est co-écrit par Abeba Birhane, qui est professeur adjoint adjoint à la Trinity’s School of Computer Science and Statistics (travaillant avec le Trinity’s Complex Software Lab) et Senior Fellow en Trustworthy AI à la Mozilla Foundation.

Le professeur Birhane a déclaré: « Les gens communiquent régulièrement l’incertitude à travers des phrases telles que » je pense « , des retards de réponse, des corrections et des disfluences de la parole. En revanche, les modèles génératifs donnent des réponses confiantes et fluides sans représentations d’incertitude ni capacité à communiquer leur absence. Comme par conséquent, cela peut entraîner une plus grande distorsion par rapport aux apports humains et amener les gens à accepter les réponses comme factuellement exactes. Ces problèmes sont exacerbés par les intérêts financiers et de responsabilité qui incitent les entreprises à anthropomorphiser les modèles génératifs comme intelligents, sensibles, empathiques ou même enfantins.

Un exemple de ce type fourni dans la perspective se concentre sur la manière dont les régularités statistiques dans un modèle attribuent aux accusés noirs des scores de risque plus élevés. Les juges du tribunal, qui ont appris les modèles, peuvent alors modifier leurs pratiques de détermination de la peine afin de correspondre aux prédictions des algorithmes. Ce mécanisme de base d’apprentissage statistique pourrait amener un juge à croire que les Noirs sont plus susceptibles de récidiver, même si l’utilisation du système est arrêtée par des réglementations comme celles récemment adoptées en Californie.

Le fait qu’il n’est pas facile de se débarrasser des préjugés ou des informations fabriquées une fois qu’elles ont été acceptées par un individu est particulièrement préoccupant. Les enfants sont particulièrement exposés à un risque élevé car ils sont plus vulnérables à la distorsion des croyances car ils sont plus susceptibles d’anthropomorphiser la technologie et sont plus facilement influençables.

Ce qu’il faut, c’est une analyse rapide et détaillée qui mesure l’impact des modèles génératifs sur les croyances et les préjugés humains.

Le professeur Birhane a déclaré: « Les études et les interventions ultérieures seraient plus efficacement axées sur les impacts sur les populations marginalisées qui sont touchées de manière disproportionnée par les fabrications et les stéréotypes négatifs dans les résultats des modèles. De plus, des ressources sont nécessaires pour l’éducation du public, des décideurs et des scientifiques interdisciplinaires. pour donner des points de vue réalistes sur le fonctionnement des modèles d’IA générative et pour corriger la désinformation existante et le battage médiatique autour de ces nouvelles technologies. »