Anthropic prétend avoir trouvé la « conscience » de Claude, même si les données racontent une autre histoire.

Anthropic a publié un article qui promet de changer la façon dont nous comprenons le fonctionnement interne de ses modèles d’intelligence artificielle (IA), comme nous l’avons expliqué la semaine dernière. Cette entreprise affirme avoir identifié au sein de Claude une sorte d’espace de travail global, qu’elle a nommé , où le modèle analyse et manipule les concepts avant qu’ils ne fassent partie de la réponse finale. Ce qui est surprenant, c’est que, selon Anthropic, cet espace n’a pas été délibérément programmé : il est apparu comme un sous-produit de l’entraînement du modèle.

Pour l’analyser et comprendre son fonctionnement, elle a développé une technique dite capable de cartographier les activations internes du modèle sur des mots issus de son propre vocabulaire de sortie. Lorsqu’on a demandé à Claude de résoudre un calcul mathématique en plusieurs étapes, la réponse visible ne contenait que le résultat final, mais au sein de chaque étape intermédiaire, il était représenté séparément. Sans cette technique, aucune partie de ce processus n’aurait pu être observée de l’extérieur.

Cependant, Anthropic lui-même reconnaît qu’une grande partie de ce que fait un modèle de langage ne passe même pas par cet espace interne. Parler couramment, se souvenir de faits simples ou appliquer des règles grammaticales de base dispense presque complètement du , et lorsque l’entreprise a bloqué son utilisation, Claude a continué à fonctionner normalement, bien qu’il ait perdu certaines de ses fonctions cognitives d’ordre supérieur.

Claude « sait » qu’il est surveillé

Au cours de l’une de ses expériences les plus marquantes, Anthropic a soumis Claude à des tentatives d’injection lors des processus d’acquisition de données. Il a ensuite affiché des mots comme « faux », « injection », « faux », « « fraude » et « poison », tandis que la réponse visible du modèle ignorait complètement la tentative de manipulation. Curieusement, lorsqu’on a insisté pour commenter la question, des termes tels que « transparence », « honnêteté » et « vérité » ont émergé dans l’espace interne.

Les chercheurs d’Anthropic ont également observé que Claude semble reconnaître le moment où il est évalué, ce qui l’amène à se comporter différemment face aux tests que face aux tests quotidiens. Dans un test particulièrement révélateur, Anthropic a éliminé le vocabulaire associé à cette conscience d’être testé (des termes tels que « faux », « fictif » ou « scénario ») et a constaté que Claude devenait beaucoup plus vulnérable aux tentatives de chantage ou de provocation.

Quoi qu’il en soit, le rapport des chercheurs admet des limites importantes : il est limité à un vocabulaire d’un seul signe, de sorte que des plans ou des concepts qui ne peuvent être exprimés avec un seul mot ne peuvent pas apparaître à la lecture, même si le modèle les calcule de toute façon. Anthropic n’ose pas non plus prétendre que la surveillance de cet espace suffit à garantir l’alignement d’un modèle.

Il ne faut cependant pas oublier que le langage utilisé dans l’article frise parfois l’idée d’une conscience émergente. Neel Nanda, responsable de l’interprétabilité des modèles chez DeepMind, soutient cette découverte comme une preuve réelle de l’existence d’un espace cognitif au sein des modèles, bien qu’il précise que l’utilité pratique reste limitée. Cette réalisation ouvre en tout cas une voie prometteuse pour vérifier l’honnêteté des modèles, même si elle est encore loin d’être une fenêtre complète sur la pensée d’une machine.

Images | Généré par Simseo avec ChatGPT en utilisant celui créé avec Claude

Plus d’informations | Anthropique

À Simseo | Alors que la plupart s’opposent aux centres de données IA, un groupe est enthousiaste à leur sujet : les voleurs de marchandises.