« La surveillance citoyenne et les armes autonomes méritaient plus de délibérations » Démission du directeur de la robotique d'OpenAI

Il y a une semaine, nous racontions que « Un roi mort, un roi » : le passage d'Anthropic à l'ostracisme pur après avoir été considéré comme un « risque pour la chaîne d'approvisionnement » des États-Unis a pratiquement chevauché l'annonce de l'accord de l'administration américaine de la défense avec OpenAI en un temps record. Dans les coulisses : les raisons du non de la société dirigée par Dario Amodei et l'inconnu des termes de cet accord qui installe ChatGPT sur les ordinateurs du Pentagone. Quelques jours plus tard, Caitlin Kalinowski fait ses adieux à son poste chez OpenAI, citant comme raison l'utilisation militaire de l'intelligence artificielle.

La démission. Caitlin Kalinowski, responsable de l'équipe robotique OpenAI depuis novembre 2024, a annoncé il y a quelques heures son départ de l'entreprise dans des publications sur X et LinkedIn. Il précise que sa décision concerne des principes et non des personnes et exprime son respect pour Sam Altman et l'équipe. Dans sa brève déclaration, il y a deux lignes auxquelles, à son avis, l'entreprise n'a pas suffisamment réfléchi en interne :

• La surveillance des citoyens américains sans contrôle judiciaire.
• Armes autonomes capables de tirer sans surveillance humaine.

Contexte. Cette démission intervient au milieu du départ d'Anthropic du Pentagone (la transition durera six mois), de l'entrée d'OpenAI et au milieu d'un débat sur jusqu'où les entreprises d'IA devraient aller dans leur collaboration avec l'establishment militaire américain :

• Anthropic s’est tenu devant le Pentagone en établissant des limites strictes sur la surveillance intérieure et les armes autonomes.
• OpenAI a conclu un accord avec le ministère de la Défense pour déployer ses modèles sur un réseau gouvernemental classifié, une démarche qui a été interprétée comme opportuniste. Selon la société dirigée par Altman, l'accord exclut la surveillance nationale et les armes autonomes, mais le mal à sa réputation était déjà fait : des milliers de personnes ont désinstallé ChatGPT en guise d'annulation.

Pourquoi c'est important. Les adieux de Caitlin Kalinowski sont la première démission publique et nominative d'un poste de direction chez OpenAI motivée par des désaccords éthiques explicites sur l'utilisation militaire de l'IA. Et cela crée un précédent dans l'industrie dans la mesure où cela révèle la fracture interne de l'entreprise la plus influente du secteur, plaçant OpenAI dans une situation délicate devant ceux qui utilisent ses outils, son personnel et aussi devant la société.

Et enfin, elle met plus clairement que jamais en évidence la nécessité de légiférer sur l’intelligence artificielle et ses usages civils et militaires. L’Europe est peut-être en retard dans la bataille de l’IA, mais elle a depuis longtemps entrepris la tâche ardue d’établir un cadre réglementaire.

Ce que Kalinowski ne dit pas. Dans les commentaires de son article sur

Kalinowski ne le dit pas clairement, mais lorsqu’un accord de cette ampleur a déjà été signé et que son PDG le rend public, il n’y a pas beaucoup de marge de manœuvre de l’intérieur : démissionner avec une déclaration publique comme la sienne est l’une des rares manœuvres de pression qu’il reste à exercer.

Conséquences. Pour OpenAI, la pression augmente et elle risque davantage de départs et d’annulations si elle ne montre pas clairement quelles sont ses lignes rouges de manière crédible et vérifiable : la militarisation de l’IA est quelque chose que nous vivons en temps réel. Pour l’industrie de l’IA, cela alimente davantage le feu du débat sur l’autorégulation. Et Anthropic gagne en réputation, même si à court terme elle a perdu un accord important et que son nouveau statut pourrait mettre son existence en échec.

À Simseo | Les États-Unis ont décidé de se tirer une balle dans le pied et de détruire l’une des meilleures sociétés d’IA du pays.

À Simseo | Sam Altman se dit terrifié par un monde dans lequel les entreprises d'IA se croient plus puissantes que le gouvernement. C'est juste ce que tu construis

Couverture | Caitlin Kalinowski