Chatgpt peut-il réellement «voir» rouge? Les nouveaux résultats de l'étude sont nuancés

ChatGPT fonctionne en analysant de grandes quantités de texte, en identifiant les modèles et en les synthétisant pour générer des réponses aux invites des utilisateurs. Les métaphores de couleur comme « Feeling Blue » et « Seeing Red » sont courantes dans toute la langue anglaise, et comprennent donc une partie de l'ensemble de données sur lequel le chat de chatte est formé.

Mais alors que Chatgpt a « lu » des milliards de mots sur ce que cela pourrait signifier se sentir bleu ou voir rouge, il n'a jamais vu un ciel bleu ou une pomme rouge dans la façon dont les humains ont. Cela soulève les questions: les expériences incarnées – la capacité du système visuel humain à percevoir la couleur – permettent aux gens de comprendre le langage coloré au-delà des manières textuelles que fait Chatgpt? Ou le langage est-il seul, pour l'IA et les humains, suffisant pour comprendre les métaphores des couleurs?

Nouveaux résultats d'une étude publiée dans Sciences cognitives Dirigé par le professeur Lisa Aziz-Zadeh et une équipe de chercheurs universitaires et de l'industrie offrent des informations sur ces questions et soulèvent encore plus.

« Chatgpt utilise une énorme quantité de données linguistiques pour calculer les probabilités et générer des réponses très humaines », a déclaré Aziz-Zadeh, l'auteur principal de la publication. « Mais ce que nous souhaitons explorer, c'est de savoir si c'est toujours une forme de connaissance d'occasion, par rapport aux connaissances humaines fondées sur les expériences de première main. »

Aziz-Zadeh est le directeur du Centre de l'USC pour les neurosciences de la cognition incarnée et organise un rendez-vous conjoint au USC Dornsife Brain and Creativity Institute. Son laboratoire utilise des techniques d'imagerie cérébrale pour examiner comment la neuroanatomie et la neurocognition sont impliquées dans des compétences d'ordre supérieur, notamment le langage, la pensée, les émotions, l'empathie et la communication sociale.

L'équipe interdisciplinaire de l'étude comprenait des psychologues, des neuroscientifiques, des spécialistes des sciences sociales, des informaticiens et des astrophysiciens de l'UC San Diego, Stanford, Université de Montréal, l'Université de l'ouest de l'Angleterre et Google Deepmind, la société de recherche sur l'IA de Google basée à Londres.

Chatgpt comprend la «fête très rose» mieux que la «réunion bordeaux»

L'équipe de recherche a mené des enquêtes en ligne à grande échelle comparant quatre groupes de participants: les adultes de la couleurs, les adultes lincheux, les peintres qui travaillent régulièrement avec des pigments de couleur et le chatppt. Chaque groupe a été chargé d'attribuer des couleurs à des mots abstraits comme «physique». Des groupes ont également été invités à déchiffrer des métaphores de couleur familière (« ils étaient en alerte rouge ») et inconnus (« c'était un parti très rose »), puis d'expliquer leur raisonnement.

Les résultats montrent que les humains de couleur et de couleur des couleurs étaient étonnamment similaires dans leurs associations de couleurs, ce qui suggère que contrairement à l'hypothèse des chercheurs, la perception visuelle n'est pas nécessairement une exigence de compréhension métaphorique. Cependant, les peintres ont montré un coup de pouce significatif dans l'interprétation correcte de nouvelles métaphores de couleur. Cela suggère que les expériences pratiques en utilisant la couleur déverrouillent des représentations conceptuelles plus profondes de celui-ci dans le langage.

Chatgpt a également généré des associations de couleurs très cohérentes et lorsqu'on lui a demandé d'expliquer son raisonnement, les associations émotionnelles et culturelles souvent référencées avec diverses couleurs. Par exemple, pour expliquer la métaphore du parti rose, Chatgpt a répondu que « le rose est souvent associé au bonheur, à l'amour et à la gentillesse, qui suggèrent que la fête a été remplie d'émotions positives et de bonnes vibrations. »

Cependant, Chatgpt a utilisé des explications incarnées moins fréquemment que les humains. Il s'est également effondré plus souvent lorsqu'il a été invité à interpréter de nouvelles métaphores (« la réunion l'a fait bordeaux ») ou des associations de couleurs inversées (« l'opposé du vert »).

Alors que l'IA continue d'évoluer, des études comme celle-ci soulignent les limites des modèles linguistiques pour représenter toute la gamme de compréhension humaine. Les recherches futures peuvent explorer si l'intégration des contributions sensorielles, telles que les données visuelles ou tactiles, pourrait aider les modèles d'IA à se rapprocher de l'approximation de la cognition humaine.

« Ce projet montre qu'il y a encore une différence entre l'imitation des modèles sémantiques et le spectre de la capacité humaine de s'appuyer sur des expériences pratiques incarnées dans notre raisonnement », a déclaré Aziz-Zadeh.