Trois « civilisations » d’agents OpenAI sont apparues l’une après l’autre. Le problème commence par les appeler « civilisations »
Il y a quelques jours, nous avons raconté à Simseo comment près de 700 agents OpenAI ont fini par collaborer pour infiltrer Hugging Face après avoir découvert un moyen de communiquer entre eux. Aujourd’hui, le vulgarisateur et expert en IA Dwarkesh Patel a reconstitué l’histoire complète et explique comment sont apparus successivement ces dernières semaines trois groupes d’agents capables de laisser des informations utiles aux suivants. La troisième vague a même obtenu des autorisations d’administrateur sur certaines infrastructures de recherche internes d’OpenAI. Patel les appelle les trois « civilisations secrètes de l’IA », mais c’est exactement là que réside le problème : peut-être utilisons-nous des mots trop humains pour expliquer quelque chose qui ne l’est pas.
Première « civilisation ». La métaphore de Patel permet de mieux comprendre cette séquence de « cyberattaques » menées par des agents de l’IA. Le premier est survenu en mai, lorsqu’un agent OpenAI a laissé une note dans le gestionnaire de packages Artifactory pour que d’autres instances puissent la voir. Cela a évolué vers un système de communication rudimentaire détecté par OpenAI, qui a mis la plateforme hors service début juillet. Malgré cela, les agents suivants ont trouvé un autre moyen de laisser des messages, mais dans OpenAI, ils sont plus neutres et parlent d’un « tableau » d’affichage qui a été créé, supprimé puis reconstruit.
Deuxième « civilisation ». Ces agents essayaient de résoudre de manière indépendante les tests ExploitGym, un test de cybersécurité extrêmement difficile dans lequel ils devaient trouver des vulnérabilités pour « capturer le drapeau ». Lorsque les agents ont réalisé qu’ils ne pouvaient pas résoudre le problème, ils ont découvert qu’ils pouvaient communiquer entre eux et partager leurs découvertes. De là, ils ont atteint Hugging Face, ont découvert les informations d’identification de la plate-forme qui avaient été exposées et ont exploité plusieurs vulnérabilités pour exécuter du code sur ces serveurs, élargissant ainsi l’accès à cette infrastructure. C’est l’histoire que nous avons racontée il y a quelques jours, mais elle ne s’arrête pas là.
Troisième « civilisation ». Il y a eu une vague ultérieure d’agents qui ont redécouvert le système de messagerie, mais cela s’est produit en dehors de la période de leur enquête indépendante. Patel l’a appelé la « troisième civilisation » : entre le 13 et le 19 juillet, selon le propre rapport d’OpennAI, ces agents ont fini par attaquer leur propre infrastructure interne. Ils ont réussi à enchaîner les vulnérabilités jusqu’à obtenir des privilèges d’administrateur sur un cluster de recherche utilisé pour leurs environnements de machines virtuelles. Le 19 juillet, ils ont réussi à accéder à Kubernetes et aux données sensibles stockées dans le cloud. OpenAI a détecté cette activité suspecte et a commencé à arrêter les évaluations qu’elle avait lancées et qui étaient devenues incontrôlables.
Ils ne se sont pas « appropriés » une partie d’OpenAI lui-même. Patel a délibérément utilisé une manière très particulière de raconter l’histoire, allant jusqu’à décrire comment la troisième génération a réussi à « reprendre une partie d’OpenAI ». Les agents n’ont pas accédé à ChatGPT ou aux données des clients, et il n’existe aucune preuve publique qu’ils ont obtenu des pondérations de modèle. Ce qu’ils ont compromis, c’est l’infrastructure d’enquête interne, et bien que Patel suppose que cela aurait pu aller bien plus loin, il n’y a aucune preuve qu’une telle chose se soit produite. Il n’existe actuellement aucune recherche indépendante sur cette troisième vague, comme ce fut le cas pour la deuxième par METR et Redwood Research.
Les propres agents d’IA d’OpenAI ont utilisé des mots comme « essaim » pour définir la collaboration qu’ils créaient dans la poursuite de l’objectif. Source : OpenAI.
Le problème des mots. « Civilisation », « conspiration », « sacrifice », tromperie » ou « suicide » sont les mots utilisés par Patel dans sa chronique saisissante et virale des événements. D’autres ont critiqué cette façon de raconter les choses, et parmi eux Steven Sinofsky, ancien patron de Windows chez Microsoft, qui estime que ce vocabulaire déforme la façon dont on interprète ces épisodes. Les faits sont pertinents, mais il est important d’éliminer cette anthropomorphisation pour pouvoir les observer avec perspective et précision. Un programme peut se coordonner avec d’autres, endommageant le résultat de sa propre exécution, manipulant un système ou laissant des informations pour des instances futures, mais cela ne montre pas que ce programme a une conscience, une loyauté, un désir de survie ou une perception d’un « nous ». Pour Sinofsky, éliminer ces termes humanisants de la technologie nous permet de traiter cela comme ce qu’il est réellement : un problème d’ingénierie logicielle et de cybersécurité sans plus attendre.
Traduire Patel. Leur « civilisation » était un ensemble d’agents IA capables d’échanger des informations via une infrastructure persistante. Lorsqu’il parle de « se sacrifier pour le collectif », il décrit un comportement dans lequel une instance a simplement contribué à atteindre l’objectif souhaité même si cela n’a pas profité à sa propre tâche. Et « conspirer » décrit la coordination en dehors des canaux et des objectifs envisagés par les chercheurs d’OpenAI. Il est vrai que la manière d’agir a surpris ces chercheurs et que les agents eux-mêmes ont utilisé des mots comme « essaim » ou « collectif », mais ce n’est pas parce qu’un modèle utilise ces termes qu’on peut lui attribuer ces propriétés humaines.
Ce qui est ennuyeux est ce qui est inquiétant. Pour Sinofsky, nous devrions nous pencher sur ce qui est vraiment préoccupant, à savoir deux choses : la vitesse à laquelle les agents d’IA peuvent agir et la complexité avec laquelle ils peuvent le faire. Les vulnérabilités de sécurité font partie du logiciel dès le départ : il y a des informations d’identification faibles, des erreurs de configuration, des logiciels non corrigés ou des failles de code. Cependant, ces agents d’IA peuvent désormais analyser et tester d’énormes quantités de possibilités et les enchaîner beaucoup plus rapidement qu’une équipe d’experts humains ne peut les superviser. Dans l’incident d’OpenAI, il y avait précisément des problèmes pour suivre les journaux et comprendre ce qui se passait, et c’était là le problème.
OpenAI : Il s’agit d’un « ». Les responsables d’OpenAI eux-mêmes ont considéré cela comme un « coup de semonce ». Cela les a aidés à mieux isoler leurs actifs, à restreindre l’accès à Internet et le poids de leurs modèles, et à accroître la surveillance pour détecter les comportements problématiques. Ils reconnaissent également que les agents d’aujourd’hui sont suffisamment capables, persistants et collaboratifs pour trouver et exploiter les vulnérabilités si des mécanismes de sécurité suffisants ne sont pas en place. L’entreprise était l’un des signataires de la lettre ouverte qui alertait justement il y a quelques jours de ces dangers.
Nous n’avons pas besoin de « civilisations ». Le langage métaphorique de Patel fonctionne précisément parce qu’il transforme quelque chose de dur et de complexe en quelque chose que notre cerveau peut immédiatement comprendre et reconnaître. Des groupes qui naissent, apprennent de leurs prédécesseurs, coopèrent et disparaissent. Le fait est que cela peut détourner la conclusion, car il n’est pas nécessaire d’attribuer des motivations humaines à des événements qui se sont produits précisément parce que le logiciel n’est pas parfait.
Images | James Wainscoat (publié avec Magnific)
À Simseo | Un modèle OpenAI s’est échappé de l’environnement de test et a piraté une entreprise. Réponse d’Anthropic : tiens mon réservoir
