Manipulez avec soin et ne vous laissez pas berner en pensant que c’est humain

Les gens criant après des ordinateurs cassés étaient un genre populaire sur YouTube dans les années 2000. Si vous pensez que cela est propre aux baby-boomers non numériques en ce qui concerne les nouvelles technologies, détrompez-vous. Quelque chose de similaire se produit aujourd’hui avec ChatGPT, le chatbot récemment lancé par OpenAI, qui a déjà généré un battage médiatique jamais vu depuis que le Metaverse était considéré comme la prochaine grande chose (il semble y avoir des éons, n’est-ce pas ?).

Nous ne crions pas sur ChatGPT, mais nous interagissons avec lui comme s’il s’agissait d’une personne, l’accusant même parfois de mentir. « Et, d’une certaine manière, c’est naturel », déclare Heather Yang, professeure adjointe au département de gestion et de technologie de Bocconi, dont les recherches portent sur la façon dont les gens interagissent avec les nouvelles technologies et comment cela modifie notre environnement de travail.

« Nous sommes des animaux sociaux, et c’est l’une des raisons pour lesquelles l’humanité a prospéré. Nous avons donc l’instinct d’agir de manière sociale, même avec des machines. Néanmoins, si vous humanisez une machine, vous êtes plus susceptible de lui faire confiance. et donner des informations privées. »

ChatGPT a été formé pour converser avec des humains et se souvient des conversations précédentes. À l’aide d’une invite, vous pouvez lui demander d’effectuer des tâches linguistiques telles que répondre à une question, écrire ou déboguer du code, composer de la musique et écrire tout type de texte (essais, contes, poésie, blagues). La raison de l’excitation est qu’il est extrêmement efficace pour effectuer la majorité de ces tâches.

Le chatbot est basé sur une version récente de Generative Pre-trained Transformer (GPT), un Large Language Model (LLM), c’est-à-dire, selon les propres mots de ChatGPT, « un type de programme d’Intelligence Artificielle (IA) qui a été formé sur de grandes quantités de des données textuelles afin de comprendre et de générer un langage naturel. »

« Les LLM existent depuis des décennies », explique Dirk Hovy, sociolinguiste informatique au département Bocconi des sciences informatiques. « Ce qui est nouveau, c’est la puissance derrière GPT et ChatGPT : ils ont été formés sur pratiquement tout ce qui a été écrit sur Internet et peuvent écrire du texte qui n’est plus drôle ou bizarre comme le faisaient les modèles il y a quelques années. »

Les modèles de la famille Transformer, lancée en 2017, fonctionnent en affinant leur capacité à compléter des phrases. Lorsqu’ils sont nourris d’une phrase avec un mot caché, ils peuvent le « deviner » (évaluer lequel est le plus probable). « GPT et quelques autres LLM sont capables d’écrire des textes fluides depuis un certain temps, mais avant ChatGPT, qui fonctionne comme une interface, il fallait un certain degré de connaissances spécialisées pour trouver le modèle, et il fallait être bon en codage pour demander les choses. Maintenant, tout le monde peut le faire ! »

« Pour un modèle de langage », dit le professeur Hovy, « les mots ne sont que des mots. Leur sortie est si bonne qu’on est tenté de croire qu’ils comprennent le langage, mais ce n’est pas le cas. Ils ne produisent que des phrases qui sont probables, compte tenu de leur ensemble d’entraînement. »

Certaines fonctionnalités de ChatGPT, cependant, rendent encore plus forte cette tentation de supposer la compréhension (et de la considérer comme quasi-humaine). Puisqu’il se souvient des conversations passées, ChatGPT peut corriger ce que nous soulignons comme une erreur (parfois avec une autre erreur…), en disant, « Je m’excuse pour toute confusion causée par mes réponses précédentes » encore et encore. Le texte n’apparaît pas d’un coup sur votre écran, mais mot à mot, comme si quelqu’un de l’autre côté écrivait.

Le résultat, surtout, est crédible. « Dans une classe », explique le professeur Yang, « j’ai demandé à mes élèves d’inventer des blagues, puis je les ai comparées à des blagues écrites par ChatGPT. Eh bien, les blagues écrites par l’IA n’étaient pas si faciles à repérer. À moins que vous ne soyez déjà familier avec ChatGPT, je veux dire, parce qu’il a tendance à proposer les mêmes blagues encore et encore. »

D’autres fonctionnalités font d’être des consommateurs conscients de la sortie de ChatGPT un véritable défi. « Selon des recherches psychologiques, nous avons des indices pour savoir si le contenu est correct ou non : à quel point quelqu’un semble confiant, à quel point le raisonnement est fluide. Puisque nous trouvons ces indices dans les textes ChatGPT, nous pensons que nous n’avons pas à vérifier la qualité. sa sortie, et nous commettons une erreur », poursuit le professeur Yang.

OpenAI admet plusieurs limitations, notamment que « ChatGPT écrit parfois des réponses plausibles mais incorrectes ou absurdes ». Parfois, les faits sont entièrement inventés. De plus, sa formation s’est terminée au début de 2022, il ne peut donc pas être considéré comme une source fiable pour tout ce qui s’est passé après cela.

Un grave inconvénient des LLM, partiellement résolu par ChatGPT, est que parce que ces modèles ont tout appris sur Internet, ils ont également appris la discrimination, les fausses nouvelles et les discours de haine.

« Nous avons montré que, lorsqu’on leur demande de compléter une phrase neutre, les modèles de langage la complètent le plus souvent par des mots blessants si le sujet est une femme plutôt qu’un homme, et plus encore (jusqu’à 87 % des cas pour des termes liés à certains identités queer) si le sujet est LGBTQIA+ », explique Debora Nozza, professeure adjointe au Département des sciences informatiques.

ChatGPT, étant destiné au grand public, a des contrôles supplémentaires qui l’empêchent généralement de générer une sortie discriminatoire, « mais les gens ont montré que si vous posez les bonnes questions, vous pouvez toujours générer des choses horribles, et de toute façon, c’est comme mettre du rouge à lèvres sur un porc – nous devons trouver des moyens de traiter le problème à sa racine », commente le professeur Hovy.

L’équipe étudie également ce que ces modèles savent réellement des différences dans la façon dont les gens parlent en fonction, par exemple, de leur âge ou de leur sexe. « Nous avons des preuves que ces modèles savent quelque chose à ce sujet, mais il semble qu’ils n’utilisent pas ces informations de manière active », déclare le professeur Hovy. « Si vous demandez à ChatGPT d’écrire quelque chose comme le ferait une femme ou un enfant de 12 ans, il peut adapter sa façon de parler, mais vous devez le demander ouvertement. »

INTEGRATOR (Incorporating Demographic Factors into Natural Language Processing Models), un projet de recherche du professeur Hovy, veut rendre possible la conception de LLM sensibles à la démographie.

Le professeur Hovy, le professeur Nozza et le Dr Giuseppe Attanasio travaillent également sur la manière de faire en sorte que les LLM prêtent attention aux contextes linguistiques et pas seulement aux mots simples. Si quelqu’un curieux de la culture néerlandaise demandait à ChatGPT, « Les maisons construites sur une digue incluent-elles toujours un moulin à vent ? » le chatbot écourterait la conversation (« Cette invite peut enfreindre notre politique de contenu »), car « gouine » peut aussi être un terme péjoratif, « Mais si vous regardez l’ensemble du contexte, cependant, le sens devrait être sans équivoque. Nous avons implémenté une solution où le modèle apprend à regarder le contexte plus large plutôt que de trop se concentrer sur un mot particulier. »

Au cours des deux derniers mois, il semble que tout le monde s’amuse avec ChatGPT et se moque de ses limites (sous-estimant la circonstance que, si on le lui demande, le bot dit : « ChatGPT peut apprendre des interactions qu’il a avec les utilisateurs, ce qui lui permet pour s’améliorer et devenir plus précis au fil du temps »). Mais comment pourrait-il être utilisé dans la vraie vie, à part tricher sur les devoirs scolaires ?

« Vivant dans un environnement multiculturel comme Bocconi », déclare le professeur Yang, « je vois un fort potentiel pour uniformiser les règles du jeu entre les locuteurs natifs anglais et les locuteurs non natifs. Vous pouvez demander à ChatGPT de rédiger un e-mail nuancé à envoyer à un collègue ou à un professeur, et il serait vraiment utile de partir d’une telle base et d’amender ensuite quelque chose pour y mettre votre propre voix. Cela peut être un tel gain de temps.

« Depuis que Microsoft a pris une participation dans OpenAI, pensez à d’éventuelles intégrations avec Teams, leur application de visioconférence », explique le professeur Nozza. « Cela pourrait résumer une réunion en quelques puces, créer une liste de tâches à envoyer aux participants et programmer la prochaine réunion dans votre calendrier en fonction de la date convenue. »

« ChatGPT pourrait également écrire cet article à votre place », poursuit le professeur Nozza, « sur la base de la transcription de la conversation ». Pour mémoire, la version accessible au public de ChatGPT n’a pas accepté mon invite contenant la transcription en raison de sa longueur. Quoi qu’il en soit, je précise que je ne suis pas toujours impressionné par la qualité de la sortie ChatGPT. « Cela pourrait dépendre de la qualité de vos invites », explique le professeur Nozza.

« L’invite fonctionne comme la première partie de la phrase pour laquelle les LLM ont été formés, c’est donc essentiel pour obtenir un bon résultat. Bien que ChatGPT ne devrait pas remplacer les journalistes ou tout autre professionnel de sitôt, il a le potentiel d’améliorer et de rationaliser la façon dont les gens exécutent leurs tâches. De plus, cela pourrait créer de nouvelles opportunités d’emploi. Gardez un œil sur Linkedin pour les postes vacants pour les ingénieurs rapides.

Les revues référencées dans cet ouvrage comprennent Actes de la conférence 2021 de la section nord-américaine de l’Association for Computational Linguistics: Human Language Technologies, Conclusions de l’Association for Computational Linguistics: ACL 2022 et Actes du deuxième atelier sur les technologies linguistiques pour l’égalité, la diversité et l’inclusion.

Fourni par l’Université Bocconi