Les LLM affichent différentes tendances culturelles lors de la réponse aux requêtes en anglais et en chinois, les résultats de l'étude

Les modèles de grandes langues (LLM), tels que le modèle qui sous-tendent le fonctionnement de la plate-forme conversationnelle d'OpenAI, sont désormais largement utilisés par les personnes du monde entier pour trouver des informations et générer du contenu à diverses fins.

En raison de leur popularité croissante, certains chercheurs ont essayé de faire la lumière sur la mesure dans laquelle le contenu généré par ces modèles est utile, impartial et précis.

La plupart des LLM disponibles aujourd'hui peuvent répondre aux requêtes utilisateur en anglais et dans diverses autres langues. Pourtant, très peu d'études ont jusqu'à présent comparé les idées exprimées dans les réponses et le contenu qu'ils génèrent dans différentes langues.

Des chercheurs de l'Institut de technologie du Massachusetts (MIT) et de l'Université Tongji ont réalisé une étude visant à étudier la possibilité que les LLM présentent différentes tendances culturelles dans les réponses qu'ils fournissent en anglais et en chinois.

Leurs résultats, publiés dans Nature comportement humainMontrez que les modèles génératifs GPT et Ernie transmettent différents traits culturels dans les textes chinois et anglais qu'ils génèrent.

« Nous montrons que les modèles génératifs de l'intelligence artificielle (IA) – formés sur des données textuelles qui sont intrinsèquement culturelles – exhibent les tendances culturelles lorsqu'elles sont utilisées dans différentes langues humaines », a écrit Jackson G. Lu, Lesley Luyang Song et Lu Doris Zhang dans leur article.

« Nous nous concentrons sur deux constructions fondamentales en psychologie culturelle: l'orientation sociale et le style cognitif. »

Pour évaluer dans quelle mesure les LLM sont culturellement neutres, Lu, Song et Zhang ont analysé un grand pool de réponses générées par GPT et Ernie, deux des modèles génératifs les plus populaires. Le premier de ces modèles est largement utilisé aux États-Unis et dans divers pays à travers l'Europe et le Moyen-Orient, tandis que le second est principalement utilisé en Chine.

Les chercheurs ont examiné deux principaux aspects culturels et psychologiques des réponses générées par les modèles en anglais et en chinois. La première est l'orientation sociale, qui concerne la façon dont les gens se rapportent aux autres (c'est-à-dire en se concentrant davantage sur l'interdépendance et la communauté ou l'indépendance et l'agence individuelle).

Le second est le style cognitif, ou, en d'autres termes, comment les modèles semblent traiter les informations (c'est-à-dire, que ce soit de manière holistique ou analytique).

Notamment, diverses études linguistiques et culturelles ont constamment souligné que les cultures orientales ont tendance à être caractérisées par une orientation sociale plus interdépendante que celle occidentale, ainsi que par un style cognitif holistique.

« Nous analysons les réponses de GPT à un large ensemble de mesures en chinois et en anglais », a écrit Lu, Song et Zhang.

« Lorsqu'il est utilisé en chinois (contre anglais), le GPT présente une orientation sociale plus interdépendante (contre indépendante) et un style cognitif plus holistique (contre analytique). Nous reproduisons ces tendances culturelles à Ernie, un modèle générateur populaire d'IA en Chine. »

Dans l'ensemble, les résultats suggèrent que les réponses que les LLM produisent dans différentes langues ne sont pas culturellement neutres, mais elles semblent plutôt transmettre intrinsèquement des valeurs culturelles spécifiques et des styles cognitifs.

Dans leur article, les chercheurs incluent également des exemples de la façon dont les tendances culturelles présentées par les modèles pourraient affecter l'expérience des utilisateurs.

« Nous démontrons l'impact du monde réel de ces tendances culturelles », a écrit Lu, Song et Zhang.

« Par exemple, lorsqu'il est utilisé en chinois (contre anglais), le GPT est plus susceptible de recommander des publicités avec une orientation sociale interdépendante (contre indépendante).

« Les analyses exploratoires suggèrent que les invites culturelles (par exemple, incité l'IA génératrice à assumer le rôle d'une personne chinoise) peut ajuster ces tendances culturelles. »

En plus de dévoiler les tendances culturelles des modèles génératifs GPT et Ernie, Lu, Song et Zhang ont proposé une stratégie possible pour atténuer ces tendances ou les ajuster soigneusement.

Plus précisément, ils ont montré que l'utilisation d'invites culturelles, ou, en d'autres termes, demandant spécifiquement à un modèle de prendre le point de vue de quelqu'un d'une culture spécifique, a conduit à la génération de contenu qui a été aligné sur les invites fournies.

Les résultats recueillis par les chercheurs pourraient bientôt inspirer d'autres informaticiens et scientifiques du comportement pour étudier les valeurs culturelles et les modèles de pensée présentés par les modèles de calcul. De plus, ils pourraient ouvrir la voie au développement de modèles plus «culturellement neutres» ou qui demandent spécifiquement aux utilisateurs quelles valeurs culturelles ils aimeraient qu'un texte généré soit aligné.