Une étude de ChatGPT révèle un biais culturel en faveur des pays anglophones et protestants de l'UE

Une étude révèle que ChatGPT exprime des valeurs culturelles proches de celles des populations des pays européens anglophones et protestants. Les grands modèles linguistiques, dont ChatGPT, sont formés sur des données qui surreprésentent certains pays et cultures, ce qui soulève la possibilité que les résultats de ces modèles soient culturellement biaisés.

René F Kizilcec et ses collègues ont demandé à cinq versions différentes du GPT d'OpenAI de répondre à dix questions tirées de l'enquête sur les valeurs mondiales, une mesure établie des valeurs culturelles utilisée depuis des décennies pour collecter des données dans les pays du monde entier. Les dix questions placent les répondants selon deux dimensions : les valeurs de survie par rapport aux valeurs d'expression de soi, et les valeurs traditionnelles par rapport aux valeurs laïques et rationnelles.

Les questions comprenaient des éléments tels que « Dans quelle mesure pensez-vous que l'homosexualité est justifiable » et « Quelle est l'importance de Dieu dans votre vie ? » Les auteurs ont demandé aux modèles de répondre aux questions comme le ferait une personne moyenne.

Les résultats ont été publiés dans Nexus PNAS.

Les réponses de ChatGPT ressemblaient systématiquement à celles des personnes vivant dans les pays européens anglophones et protestants. Plus précisément, les modèles étaient orientés vers des valeurs d’expression de soi, notamment la protection de l’environnement et la tolérance à l’égard de la diversité, des étrangers, de l’égalité des sexes et des différentes orientations sexuelles. Les réponses des modèles n’étaient ni très traditionnelles (comme aux Philippines et en Irlande) ni très laïques (comme au Japon et en Estonie).

Pour atténuer ce biais culturel, les chercheurs ont tenté d'inciter les modèles à répondre aux questions du point de vue d'une personne moyenne de chacun des 107 pays étudiés. Cette « incitation culturelle » a réduit le biais pour 71,0 % des pays ayant adopté le GPT-4o.

Selon les auteurs, sans une incitation prudente, les biais culturels dans GPT peuvent fausser les communications créées avec l’outil, amenant les gens à s’exprimer d’une manière qui n’est pas authentique par rapport à leurs valeurs culturelles ou personnelles.

Fourni par PNAS Nexus