L'approche des personnages littéraires aide les LLM à simuler des personnalités plus humaines

Après l'avènement de ChatGPT, l'utilisation de grands modèles de langage (LLM) est devenue de plus en plus répandue dans le monde. Les LLM sont des systèmes d'intelligence artificielle (IA) entraînés sur de grands ensembles de textes écrits, capables de traiter rapidement des requêtes dans diverses langues et de générer des réponses qui semblent parfois avoir été écrites par des humains.

À mesure que ces systèmes deviennent de plus en plus avancés, ils pourraient être utilisés pour créer des personnages virtuels simulant des personnalités et des comportements humains. En outre, plusieurs chercheurs mènent désormais des recherches en psychologie et en sciences du comportement impliquant par exemple des LLM, testant leurs performances sur des tâches spécifiques et les comparant à celles des humains.

Des chercheurs de l'Université de technologie du pétrole du Hebei et de l'Institut de technologie de Pékin ont récemment mené une étude visant à évaluer la capacité des LLM à simuler les traits de personnalité et les comportements humains. Leur article, publié sur le arXiv preprint server, introduit un nouveau cadre pour évaluer la cohérence et le réalisme des identités construites (c'est-à-dire les personnages) ou des personnages exprimés par les LLM, tout en rapportant également plusieurs résultats importants, notamment la découverte d'une loi d'échelle régissant le réalisme des personnages.

« L'utilisation de LLM pour piloter des simulations sociales constitue clairement une frontière de recherche majeure », a déclaré Tianyu Huang, co-auteur de l'article, à Tech Xplore. « Par rapport aux expériences contrôlées en sciences naturelles, les expériences sociales sont coûteuses, parfois même historiquement coûteuses pour l'humanité. Même pour des domaines à bien plus petite échelle comme les affaires ou la politique publique, les applications potentielles sont vastes.

« Du point de vue de la recherche LLM elle-même, ces modèles présentent déjà des capacités mathématiques et logiques impressionnantes. Certaines études suggèrent même qu'ils internalisent des concepts temporels et spatiaux. La question de savoir si les LLM peuvent déduire davantage les attributs humains et ainsi s'engager dans les sciences humaines représente une autre question majeure. »

Un défi majeur dans l’émulation de traits et de capacités humains à l’aide des LLM est le biais systématique souvent présenté par les modèles existants. La plupart des travaux antérieurs ont tenté de résoudre ce problème au cas par cas, par exemple en ajustant les biais identifiables dans les ensembles de données de formation ou les résultats individuels produits par les modèles. En revanche, Huang et ses collègues ont entrepris de développer un cadre général qui s’attaquerait aux causes profondes des préjugés du LLM.

« Tout d'abord, nous soulignons une idée fausse méthodologique dans la littérature actuelle, à savoir que de nombreux chercheurs appliquent directement des méthodes de test de validité psychométrique développées pour les humains pour évaluer la simulation de personnalité des LLM », a expliqué Yuqi Bai, co-auteur de l'article. « Nous affirmons qu'il s'agit d'une inadéquation catégorique. Notre approche revient à une vision plus large, en se concentrant non pas sur des mesures de validité isolées, mais sur des modèles globaux. »

Dans le cadre de leur étude, les chercheurs ont tenté de déterminer si les caractéristiques statistiques des personnalités simulées par les LLM convergeaient avec les modèles observés chez les humains. Plutôt que d’essayer d’identifier les caractéristiques que LLM et les personnalités humaines ont actuellement en commun, l’équipe espérait tracer une voie ou un ensemble de variables qui mèneraient à la convergence progressive de l’IA et des personnalités humaines.

« Notre étude a traversé une période de profonde confusion », a déclaré Bai. « L'utilisation de profils personnels générés par les LLM a initialement conduit à de forts biais systématiques, et l'ingénierie rapide a montré un effet limité, tout comme d'autres l'avaient constaté. Les progrès ont été bloqués. Puis, au cours d'une discussion en équipe, nous avons réalisé que lorsque les LLM génèrent des profils personnels, ils se comportent souvent comme s'ils rédigeaient un CV, mettant en évidence les traits positifs et supprimant les négatifs. »

Finalement, Huang, Bai et leurs collègues ont décidé d'évaluer les personnalités que les LLM véhiculeraient dans les romans. Comme les œuvres littéraires de fiction sont souvent efficaces pour capturer la complexité des émotions et des comportements humains, ils ont demandé aux LLM d'écrire leurs propres romans.

« C'est devenu notre troisième expérience au niveau de la population, et les résultats ont été remarquables, car le biais systématique a été considérablement réduit », a déclaré Bai. « Des expériences ultérieures utilisant des personnages littéraires de Wikipédia ont montré des distributions de personnalité simulées convergeant beaucoup plus près des données humaines. La conclusion était claire : le détail et le réalisme peuvent surmonter les biais systématiques. »

Les résultats recueillis par ces chercheurs suggèrent que les LLM peuvent partiellement imiter les traits de personnalité humaine. De plus, la capacité de ces modèles à simuler des personnages réalistes s'est améliorée lorsqu'ils ont reçu des descriptions plus riches et plus détaillées du « personnage virtuel » qu'ils étaient censés être.

« Notre principale contribution consiste à identifier le niveau de détail de la personnalité comme variable clé déterminant l'efficacité des simulations sociales basées sur le LLM », a expliqué Kun Sun, co-auteur de l'article.

« Du point de vue des applications, les plateformes sociales et les fournisseurs d'API LLM possèdent déjà des données de profil d'utilisateur massives et riches en détails, formant une base puissante pour la simulation sociale. Cela présente à la fois un énorme potentiel commercial et de sérieuses préoccupations en matière d'éthique et de confidentialité. Empêcher le contrôle manipulateur et sauvegarder l'autonomie humaine sont donc des défis critiques.

À l’avenir, cette étude récente pourrait éclairer le développement d’agents d’IA conversationnels ou de personnages virtuels qui simulent de manière réaliste des personnages spécifiques. En outre, cela pourrait inspirer des recherches explorant les risques des personnages simulés par l’IA et introduire des méthodes pour limiter ou détecter l’utilisation contraire à l’éthique des personnages virtuels basés sur LLM.

Parallèlement, l’équipe prévoit d’étudier plus en profondeur la loi d’échelle qui guide la simulation LLM des personnalités humaines. Par exemple, ils aimeraient former des modèles sur des ensembles de données personnelles plus riches ou utiliser des outils de gestion de données plus sophistiqués.

« Nous prévoyons également d'explorer si des phénomènes d'échelle similaires apparaissent dans d'autres traits humains tels que les valeurs », ont ajouté Sun et Yuting Chen. « Utilisez des techniques de sondage basées sur la régression linéaire pour examiner si les LLM ont internalisé des distributions antérieures sur les attributs humains dans leurs représentations latentes. Comprendre ce modèle mondial implicite peut révéler le mécanisme sous-jacent à la simulation des traits humains. »