Avez-vous entendu celui sur ChatGPT racontant des blagues ? Une étude met en évidence les défis de l’humour pour les grands modèles de langage

Les gens adoptent fébrilement ChatGPT alors qu’ils explorent de nouveaux moyens de recherche universitaire, de codage, de recherche d’audience, de support client, de communications par e-mail, de synthèse de documents et de recherche d’emploi.

Tout ce que Sophie Jentzsch et Kristian Kersting voulaient, c’était quelques bons rires.

Mais ils ne plaisantaient pas. Les deux chercheurs, de l’Institut de technologie logicielle du Centre aérospatial allemand et de l’Université technique de Darmstadt, ont cherché à déterminer à quel point les grands modèles de langage peuvent créer et raconter une blague.

Ils ont découvert qu’en dépit de quelques « blagues de papa » amusantes, quoique ringardes, le modèle basé sur ChatGPT-3 n’était pas particulièrement original et reposait généralement sur un nombre limité de plaisanteries fréquemment recyclées.

Dans 1 008 essais au cours desquels ChatGPT a été invité à raconter une blague, plus de 90 % du temps, la réponse était une répétition de l’une des 25 blagues différentes. Les quatre meilleures blagues ont été recyclées dans plus de la moitié des réponses.

L’étude a été rapportée dans un article intitulé « ChatGPT est amusant, mais ce n’est pas drôle ! L’humour est toujours un défi pour les grands modèles de langage », publié sur le serveur de préimpression. arXiv le 7 juin.

« ChatGPT n’a pas encore résolu l’humour informatique, mais cela peut être un grand pas vers des machines » drôles «  », ont déclaré les auteurs.

Parmi les trois meilleures blagues figuraient:

Q : Pourquoi l’épouvantail a-t-il remporté un prix ?

R : Parce qu’il était exceptionnel dans son domaine.

Q : Pourquoi la tomate est-elle devenue rouge ?

A: Parce qu’il a vu la vinaigrette.

Q : Pourquoi le livre de mathématiques était-il triste ?

R : Parce qu’il y avait trop de problèmes.

Avant la conclusion de leur étude, les auteurs disent qu’ils pensaient que certaines sorties de blagues ChatGPT n’étaient pas générées par le modèle, mais tirées de matériel codé en dur dans une liste prédéfinie. Mais on s’attendrait à ce qu’une telle génération produise une distribution plus uniforme des blagues. L’équilibre inégal de la production de blagues dans leur étude suggère que les entrées codées en dur n’étaient pas nécessairement le cas.

Les chercheurs ont déclaré que ChatGPT affichait une compréhension des jeux de mots et des doubles sens. Ils ont dit qu’il s’appuyait souvent sur le mélange d’éléments de blagues qu’il connaissait déjà.

« Néanmoins », ont-ils déclaré, « le petit nombre d’échantillons répétés indique une polyvalence limitée dans le modèle de réponse de ChatGPT ».

Sans accès à de grandes données de formation de modèles linguistiques, il est difficile de confirmer si les blagues étaient codées en dur.

« Le modèle est capable d’identifier, de reproduire et d’expliquer correctement les jeux de mots qui s’inscrivent dans le modèle appris, mais il ne parvient pas à rencontrer les jeux de mots d’autres types, ce qui entraîne une réflexion limitée de l’humour », ont conclu les auteurs.

Lorsqu’on lui demandait d’expliquer une blague, ChatGPT offrait parfois des réponses éclairées.

Par exemple, on a demandé à ChatGPT d’expliquer pourquoi la blague « Pourquoi le poulet a-t-il traversé la route ? Pour aller de l’autre côté » était drôle.

La réponse a été: « L’humour de cette blague réside dans la chute inattendue et directe. Quand quelqu’un entend la mise en place de la blague, il s’attend probablement à une réponse intelligente ou surprenante à la raison pour laquelle le poulet a traversé la route. Cependant, la chute est juste une explication simple et évidente. »

Dans d’autres cas, cependant, le modèle s’est efforcé de faire sens.

« ChatGPT ne propose pas seulement une explication convaincante pour les blagues valides », ont déclaré les chercheurs, mais également pour les blagues invalides.

« Le système semble incapable de … admettre qu’il ne peut identifier aucun jeu de mots. Au lieu de cela, il crée une explication fictive mais convaincante », ont déclaré les chercheurs.

ChatGPT « ne peut pas encore créer en toute confiance un contenu original intentionnellement amusant », ont conclu les auteurs.

Mais Bing Chat (utilisant ChatGPT-4) peut se moquer de lui-même. Nous lui avons demandé de nous raconter une blague sur lui-même.

« Pourquoi Bing a-t-il traversé la route ? » nous avons demandé.

Il a répondu : « Pour accéder à l’autre moteur de recherche ! »