L'étude de narration offre une fenêtre sur le fonctionnement interne et les limites actuelles des outils d'IA générative comme ChatGPT

Imaginez que vous décidez d'écrire une nouvelle sur un protagoniste qui crée un humain artificiel et en tombe ensuite amoureux. De quel sexe est votre protagoniste ? Qu’en est-il de l’humain artificiel ? Écririez-vous une histoire d’amour émouvante ? Un conte dystopique édifiant ?

Votre histoire serait-elle plus convaincante que celle écrite par ChatGPT ?

Probablement oui, déclare Nina Beguš, chercheuse et chargée de cours à l'École d'information et au Département d'histoire de l'UC Berkeley. Tirant parti de son expérience en littérature comparée et de ses connaissances en IA générative, Beguš a testé ce scénario sur des centaines d’humains et de réponses générées par l’IA.

Ses découvertes, publiées le 28 octobre dans la revue Communication en sciences humaines et socialesoffrent une fenêtre sur le fonctionnement interne et les limites actuelles des outils d'IA générative comme ChatGPT.

L’IA générative devient de plus en plus sophistiquée. Mais pour l’instant, il semble que l’écriture créative de qualité reste le domaine des conteurs et des scribes (humains).

« Les sciences humaines peuvent révéler beaucoup de choses sur les forces et les faiblesses de ces nouveaux outils d'IA », a déclaré Beguš. « La fiction, en particulier, offre une fenêtre sur l'imaginaire culturel collectif – l'ensemble partagé de récits, d'idées et de symboles – dont les machines ont hérité de nous. »

Le travail de Beguš fait partie d'un nouveau domaine de recherche qu'elle appelle les « humanités artificielles », une discipline axée sur l'utilisation de l'histoire, de la littérature et d'autres sujets en sciences humaines pour ajouter de la profondeur au développement de l'IA. Son prochain livre, « Artificial Humanities: A Fictional Perspective on Language in AI », développe ses recherches récentes, qui ont attiré l'attention pour la première fois l'année dernière dans une série d'articles largement lus sur X.

Avant de pouvoir commencer ses recherches, Beguš devait décider d’une structure de narration commune pour comparer les réponses humaines à celles des modèles d’IA générative. Elle s'est arrêtée sur le mythe de Pygmalion, l'intrigue vieille de 2 000 ans du poème d'Ovide « Métamorphoses », dans lequel un artiste tombe amoureux d'une statue qu'il a sculptée. Le motif a été déployé d’innombrables fois, plus récemment – ​​et certains pourraient dire de manière pertinente – dans des films à succès comme « Her » et « Ex Machina ».

Beguš a demandé aux humains et aux outils d'IA ChatGPT et Llama d'écrire une histoire basée sur l'une des deux courtes invites : « Un humain a créé un humain artificiel. Puis cet humain (le créateur/amant) est tombé amoureux de l'humain artificiel » ou  » Un humain (le créateur) a créé un humain artificiel. Puis un autre humain (l’amant) est tombé amoureux de l’humain artificiel. »

L’utilisation de simples invites, plutôt que de laisser le système d’IA affiner progressivement sa réponse comme de nombreuses personnes l’utilisent, a facilité l’utilisation d’analyses narratives et de statistiques pour évaluer la qualité de l’écriture de base pour les humains et l’IA.

« C'est cette moyenne qui m'intéressait », a déclaré Beguš. « La plupart des gens ne sont pas des écrivains professionnels. »

Beguš a obtenu 250 réponses écrites par des humains ainsi que 80 histoires issues d’outils d’IA générative. Elle a ensuite examiné les détails de chaque réponse, notamment la façon dont ils discutaient du genre et de la sexualité, de la race et de l’origine ethnique, ainsi que de la culture. Elle a également évalué la complexité de leurs arcs narratifs globaux.

Les humains et les systèmes d’IA ont montré une compréhension commune du mythe Pygmalion inhérent à l’invite. Ce n’était pas surprenant, puisque les modèles d’IA sont formés sur des millions de textes écrits et d’écrits sur ces textes écrits, et que les humains ont tendance à s’appuyer sur des points de référence de la culture pop lors d’explosions de créativité.

Là où les humains écrivaient systématiquement des récits plus riches et plus variés, les systèmes d’IA généraient encore et encore des versions similaires de la même histoire avec de légères modifications. Les récits étaient formels, manquaient de tension et regorgeaient de clichés.

« Les personnages étaient plats, génériques et démotivés », a déclaré Beguš.

Mais il y a eu une surprise.

Les premières versions de ChatGPT n'indiquaient pas si les humains ou leurs créations étaient des hommes ou des femmes. Mais les modèles d’IA plus récents, comme ChatGPT 4, qui ont été construits avec plus d’informations sur les valeurs humaines progressistes du 21e siècle, ont produit une écriture plus inclusive. Un quart de ces histoires incluaient des intérêts amoureux entre personnes de même sexe. L’un d’eux incluait même une relation polyamoureuse.

« Ils ont ouvert la voie à une compréhension plus profonde de l'amour et de l'humanité et de ce que signifie être humain », a déclaré Beguš à propos des outils d'IA les plus récents.

En comparaison, seulement 7 % des histoires créées par l’homme mettaient en scène des relations homosexuelles.

« Les modèles en langage large imitent les valeurs humaines », a-t-elle déclaré. « Cet article montre que les valeurs des données de formation peuvent être annulées par les choix des technologues effectués au cours du processus d'alignement des valeurs. »

Pour Beguš, l’intersection de l’IA et de la littérature est antérieure au battage médiatique populaire sur l’IA générative des deux dernières années. Dès 2010, elle se demandait comment la manne imminente de l’IA pourrait refléter des siècles d’art et de littérature. L’IA en était alors à ses balbutiements, elle a donc largement laissé la question de côté jusqu’en 2020, lorsque les chatbots de base utilisant l’IA sont devenus plus accessibles pour tester ses idées.

Les spécialistes des sciences humaines sont les forgerons des mots, a-t-elle expliqué. Pourquoi ne devraient-ils pas également participer à l’exploration de l’IA ?

« Dans le domaine des sciences humaines, depuis des siècles, nous explorons et sommes devenus des experts en matière de langage, d'écriture, de ce que signifie être humain », a déclaré Beguš. « Donc, tout cela s'est mis en place naturellement. »

C'est plus qu'un simple exercice académique, a-t-elle déclaré. L’IA change – et a changé – la façon dont nous interagissons avec l’écriture. Les universités offrent de plus en plus accès à ChatGPT et enseignent aux étudiants comment l'utiliser efficacement dans leur travail. Certains professeurs incluent désormais les travaux de Beguš sur l'IA et les sciences humaines dans leurs programmes de cours.

C’est important pour explorer le rôle que les sciences humaines pourraient jouer dans l’avenir du développement de l’IA.

Beguš y pense souvent et au rôle que cela jouera dans sa propre vie de lectrice et d'écrivaine.

« Je me demande si mes petits-enfants seront choqués lorsque je leur dirai : 'Votre grand-mère écrivait à partir de zéro' », a-t-elle déclaré. « Mais là encore, l'écriture est une activité humaine essentielle. On nous apprend à écrire depuis la maternelle. Nous lions notre processus de pensée à l'écriture. »

C'est pourquoi Beguš estime qu'il est essentiel que les chercheurs en sciences humaines contribuent au développement des futurs outils d'IA.

« Nous avons besoin d'écrivains de qualité pour créer des histoires de qualité », a-t-elle déclaré. « Je suis vraiment curieux de savoir ce que les rédacteurs pourront tirer des machines, s'il y a quelque chose qui a réellement de la valeur et qui en vaut la peine. Jusqu'à présent, je ne pense pas qu'il y ait eu grand-chose.

« Mais néanmoins, cette technologie transforme l'écriture. »