« Claude a développé un mécanisme d’accès conscient » : Anthropic vient d’ouvrir une fissure dans la boîte noire de l’IA
Nous avons l’habitude de penser que celui qui construit quelque chose sait expliquer comment cela fonctionne à l’intérieur. Un moteur, un processeur, un logiciel : il peut y avoir de la complexité, des couches et des décisions techniques difficiles à suivre, mais il existe une architecture conçue, un plan, une logique que ses créateurs peuvent reconstruire. Quelque chose de tout à fait différent se produit avec l’intelligence artificielle générative. Nous avons créé des modèles de plus en plus capables, nous leur avons confié des tâches de plus en plus délicates et, malgré cela, nous ne voyons toujours pas pleinement ce qui se passe à l’intérieur lorsqu’ils raisonnent, décident ou traitent quelque chose qui n’atteint jamais la réponse finale.
Anthropic vient de nommer une partie de ce problème. Dans une recherche publiée il y a quelques heures à peine, l’entreprise affirme avoir identifié chez Claude un petit espace interne, formé de schémas neuronaux, que le modèle peut activer pour représenter des concepts avant de les écrire ou même sans qu’ils apparaissent dans la réponse finale. Il l’appelle J-space et le relie à une idée tirée des neurosciences et de la philosophie : l’accès conscient. D’ailleurs, dans un message publié sur X, Anthropic l’a formulé avec une phrase qui résume la portée : « Claude a développé un mécanisme d’accès conscient ».
Un tableau blanc interne pour réfléchir sans écrire
Pour le comprendre, il convient de le séparer de tout ce que l’on associe habituellement à un chatbot. Quand Claude répond, on ne voit que du texte : une phrase, une explication, une liste, une décision exprimée en mots. L’espace J, selon Anthropic, est avant ou en dessous de cette couche visible. C’est un ensemble d’activations internes où certains concepts peuvent être présents sans devenir une réponse.
Ce qui est frappant, ce n’est pas seulement qu’Anthropic prétend avoir trouvé cet espace, mais aussi la manière dont il prétend qu’il est apparu. Selon l’entreprise, « J-space n’a pas été conçu ni programmé par nous, mais a plutôt émergé de lui-même au cours du processus de formation de Claude ». Cette phrase change le cadre : on ne parle pas d’une fonction ajoutée manuellement pour faire mieux réfléchir le modèle, mais d’une organisation interne qui aurait émergé alors que Claude apprenait à prédire, à réagir et à agir comme un assistant. La boîte noire, dans ce cas, ne cache pas seulement les processus ; Il semble également qu’elle ait organisé certaines de ses opérations d’une manière qui n’avait pas été explicitement conçue.
Le saut méthodologique est qu’Anthropic ne se limite pas à regarder la réponse finale de Claude, mais tente plutôt d’observer le parcours précédent. Pour ce faire, il utilise le J-lens, une technique qui identifie des schémas internes liés aux mots que le modèle pourrait utiliser ultérieurement. Lorsque cette lentille est appliquée pendant le traitement, les chercheurs peuvent voir comment certains concepts apparaissent, changent ou disparaissent avant que Claude ne réponde.
Dans l’une de ses expériences, Claude pense silencieusement à un sport et J-lens montre « Soccer » ; Les chercheurs remplacent ce motif par « Rugby » et le modèle finit par dire rugby. Dans un autre cas, ils changent « araignée » en « fourmi » lors d’une question sur le nombre de pattes de l’animal qui tisse des toiles, et la réponse passe de 8 à 6. Pour Anthropic, ces changements indiquent que l’espace J ne serait pas un simple marqueur passif, mais plutôt une pièce que certaines réponses consultent pour raisonner.
Anthropic a également essayé quelque chose de plus proche de notre expérience quotidienne : penser à une chose tout en en faisant une autre. Dans une expérience, il a demandé à Claude de copier une phrase sur un tableau tout en se concentrant sur les agrumes ; La sortie ne contenait que la phrase copiée, mais « orange » et « fruits » apparaissaient dans l’espace J. Dans un autre cas, on lui a demandé de résoudre mentalement 3² − 2 au cours de la même tâche, et l’objectif a d’abord montré « neuf », neuf, puis « sept », sept. Même lorsqu’on lui disait de ne pas penser à quelque chose, ce concept n’apparaissait que partiellement, souvent accompagné de « putain » et d’« échec », comme si le système détectait cette défaillance de contrôle.
Le propre texte d’Anthropic introduit un frein important : le J-space n’est pas derrière tout ce que fait Claude. Selon l’entreprise, lorsqu’elle a empêché le modèle d’utiliser cet espace, Claude a continué à parler couramment, à classer les sentiments, à répondre aux questions à choix multiples et à extraire les données des passages presque comme avant. Ce qui s’est détérioré, ce sont des tâches plus exigeantes, telles que le raisonnement en plusieurs étapes, la synthèse ou l’écriture de poésie rimée.
Anthropic le dit explicitement : « Nos expériences ne prouvent pas que Claude peut avoir des expériences ou ressentir des choses comme les humains », et ajoute qu’il n’est pas clair si des expériences pourraient prouver une telle chose. L’entreprise parle d’accès conscient dans un sens fonctionnel : des pensées que le modèle peut rapporter, utiliser pour raisonner et guider ce qu’il fait. Ce n’est pas rien, mais ce n’est pas la même chose que de dire que Claude a une vie intérieure. La fissure dans la boîte noire est là : elle ne résout pas le débat sur la conscience dans l’IA, mais elle offre une nouvelle façon d’observer et peut-être de façonner une partie de ce qui se passe à l’intérieur.
Images | Anthropique
À Simseo | Alors que la plupart s’opposent aux centres de données IA, un groupe est enthousiaste à leur sujet : les voleurs de marchandises.
