Nous ne savons pas comment ChatGPT fait ce qu’il fait. OpenAI vient de publier un outil pour le savoir

L’une des préoccupations des chercheurs dans le domaine de l’intelligence artificielle réside dans le fait que nous ne savons pas comment pensent ChatGPT ou les machines. Les algorithmes et les systèmes sont définis par les humains, mais la façon dont les systèmes d’IA arrivent aux conclusions qu’ils font pour produire ces résultats reste un mystère. Ils étaient une boîte noire. Du moins, jusqu’à maintenant.

Qu’en penses-tu, machine ? OpenAI vient d’annoncer un outil qui détecte automatiquement quelles parties d’un Large Language Model (LLM) sont responsables de chacun de ses comportements. Le projet est actuellement dans une phase préliminaire, mais le code pour tester ce comportement est déjà disponible sur GitHub.

Chercher à comprendre l’IA. William Saunders, l’un des responsables du projet, a expliqué dans TechCrunch que « nous essayons de développer des moyens d’anticiper quels seront les problèmes avec un système d’IA. Nous voulons pouvoir savoir que nous pouvons faire confiance à ce que le modèle fait et la réponse qui produit ».

Test avec GPT-2. Fait intéressant, afin de révéler le fonctionnement interne de ces systèmes LLM, dans OpenAI, ils utilisent un modèle de langage. Pour le moment, ils ont commencé à tester avec GPT-2, le prédécesseur de GPT-3, dont la version améliorée a fini par être la base de ChatGPT.

Analyser les « neurones » de ChatGPT. Les LLM sont formés par une sorte de « neurones » qui observent des modèles dans le texte pour générer ce qu’ils disent. L’outil OpenAI essaie de décomposer le modèle en éléments individuels : l’outil exécute d’abord des séquences de texte dans le modèle et analyse le moment où un « neurone » particulier se déclenche. Il l’enseigne ensuite à GPT-4, qui génère une explication et génère une prédiction du comportement du neurone compte tenu de la séquence d’entrée. Ensuite, la sortie réelle du modèle d’origine est comparée à celle générée par GPT-4 et il est donc étudié si c’était le comportement attendu.

Pourquoi ChatGPT fait ce qu’il fait. Grâce à l’outil, les chercheurs ont pu générer des explications pour les 307 200 neurones qui composent GPT-2, et ils ont compilé toutes ces informations dans un ensemble de données déjà disponible avec le code du projet. Il est également possible d’accéder au soi-disant « Neuron Viewer » pour vérifier le fonctionnement de l’outil.

un long chemin à parcourir. Les chercheurs d’OpenAI reconnaissent qu’il y a beaucoup de place à l’amélioration : l’outil s’est montré confiant dans l’explication d’environ 1 000 de ces neurones, une petite fraction du total. « La plupart des explications ont un score assez bas ou n’expliquent pas grand-chose du comportement réel du neurone », explique Jeffrey Wu, un autre des chefs de projet. « De nombreux neurones, par exemple, se déclenchent d’une manière où il est très difficile de dire ce qui se passe : ils se déclenchent avec cinq ou six choses différentes, mais il n’y a pas de schéma discernable. Parfois, il y a un schéma discernable, mais GPT-4 est impossible de le trouver. » Pourtant, c’est un bon début pour savoir ce qu’ils pensent de ChatGPT.