AI 2040, accord américano-chinois sur la superintelligence

Qui a lu Automne-Hiver 2027 écrit par l’équipe AI Futures Project, dirigée entre autres par Daniel Kokotajlo (ex OpenAI) et Eli Lifland, retiendra la sensation : un scénario écrit comme un roman, mais construit comme un modèle de prévision, avec le même soin avec lequel un bureau d’études construit des projections budgétaires. Maintenant, AI Futures Project vient de publier la suite naturelle : AI 2040 : Plan A.

La différence par rapport au document précédent est substantielle. Automne-Hiver 2027 c’était une prédiction de ce qui pourrait arriver si les entreprises continuaient à courir sans frein vers des systèmes plus intelligents que les humains dans tous les domaines : dans la pire version, l’extinction ; au mieux, une concentration du pouvoir sans précédent entre les mains d’un très petit nombre de personnes. Plan A part du même diagnostic, mais renverse la question. Non plus « ce qui va arriver », mais plutôt « ce qui devrait arriver et comment le rendre plausible ».

Les auteurs le disent explicitement : Plan A ce n’est pas leur meilleure prédiction de la façon dont l’avenir se déroulera réellement. Il s’agit d’un outil permettant de tester une proposition politique de manière détaillée et vérifiable. Si un projet tient la route lorsqu’on l’écrit ligne par ligne, année après année, décision après décision, alors peut-être qu’il tient aussi dans la réalité. Toutefois, si celui-ci s’effondre dès que vous essayez de le dire avec précision, il est préférable de le découvrir maintenant.

La thèse sous-jacente : personne n’a vraiment de plan

Le point de départ est une critique directe adressée aux dirigeants des principaux laboratoires d’IA. Selon les auteurs, l’ensemble du secteur est convaincu que le problème du contrôle d’une intelligence artificielle surhumaine peut être résolu en cours de route, sans stratégie adéquate toute faite. Un pari qui, écrivent-ils, pourrait littéralement tout nous coûter.

Il ne s’agit pas d’une accusation de mauvaise foi. Les auteurs reconnaissent que les dirigeants d’OpenAI, Anthropic, xAI et Google DeepMind sont probablement conscients du risque, et pensent peut-être qu’ils sont un moindre mal par rapport à un rival moins responsable, qu’il soit chinois ou américain. Mais choisir systématiquement le moindre mal, quand ce qui est en jeu est le contrôle de l’avenir de l’humanité, n’est pas la même chose qu’avoir un bon plan.

D’où la proposition au centre de Plan A: un accord international entre les États-Unis et la Chine qui retarde délibérément le développement de la superintelligence jusqu’en 2040. Non pas un blocage total et indéfini, mais un ralentissement négocié, vérifiable et mutuellement contraignant, accompagné de trois piliers opérationnels : une transparence totale sur la recherche en IA, l’ouverture de la frontière technologique à des dizaines d’entreprises dans de multiples pays (pour éviter que l’avantage reste concentré dans seulement deux superpuissances), et un régime que les auteurs appellent «destruction informatique mutuellement assurée» : la capacité mutuelle de neutraliser la capacité de calcul de l’adversaire en cas de violation de l’accord, sur le modèle de la dissuasion nucléaire du XXe siècle appliquée aux centres de données.

La chronologie : 2027 à 2040

Comme dans Automne-Hiver 2027la force du scénario réside dans le détail chronologique. Voici les étapes clés.

• 2027 : Le Congrès américain commence à s’inquiéter sérieusement. Des auditions, une première loi sur la transparence de l’IA qui change peu sur le fond, mais la question commence à circuler : qui va réellement contrôler ces systèmes ?
• 2028 : L’IA devient le thème central de la campagne électorale. Les coûts des nouveaux centres de données en construction dépassent le double du budget militaire américain total. Les experts préviennent que l’explosion du renseignement, l’automatisation complète de la recherche sur l’IA par l’IA elle-même, est proche.
• 2029 : le moment du choix. Les États-Unis et la Chine sont confrontés à des voies alternatives, de la course ouverte à un accord négocié, et choisissent d’éviter une course inconsidérée vers un accord. superintelligence.
• 2030 : Dans le scénario de référence, sans intervention, ce serait l’année de l’automatisation complète de la recherche sur l’IA, avec une superintelligence atteinte d’ici la fin de l’année. Grâce à l’accord, ce résultat est évité.
• 2030-2035 : Le développement se poursuit, mais reste dans une gamme de capacités gérables par l’homme, à un niveau comparable à celui des meilleurs experts humains dans chaque domaine.
• 2035 : une pause délibérée. Le monde s’arrête volontairement à ce niveau pour consolider les outils de contrôle avant d’aller plus loin.
• 2040 : la reprise de mise à l’échelle vers une véritable superintelligence, cette fois avec les conditions de sécurité que les auteurs considèrent comme essentielles déjà consolidées. D’où le titre du document.

Il convient de noter un détail que soulignent les auteurs eux-mêmes : par rapport à Automne-Hiver 2027la date cible pour l’automatisation complète de la recherche est passée de 2027 à 2030. Non pas parce que le risque a diminué, mais parce que le portefeuille de scénarios de l’équipe reflète une réelle incertitude quant au calendrier.

Les chiffres derrière le scénario

Comme dans le document précédent, chaque passage narratif s’appuie sur des estimations quantitatives explicites, dont certaines donnent la mesure des enjeux.

• 165 millions de travailleurs américains impliqués dans les projections de l’impact sur l’emploi des agents d’IA.
• Dépenses attendues de 10 milliards de dollars par mois en services d’IA avancés d’ici 2027.
• Environ 50 % du budget informatique des grandes entreprises d’IA était déjà alloué, en 2026, à la recherche et au développement en IA (formation de modèles frontières et expérimentations à grande échelle).
• Selon Epoch AI, un tiers de la capacité informatique totale de la Chine est acquis grâce à la contrebande de puces, un chiffre que les auteurs citent pour expliquer les fuites actuelles des contrôles à l’exportation.
• Les centres de données en construction en 2028 coûteront, dans le scénario, le double du budget militaire américain total.

Des chiffres qui n’ont qu’un seul objectif : concrétiser un risque qui autrement resterait abstrait. Ce n’est pas un hasard si les auteurs insistent sur la nécessité du décor examen minutieuxla pratique consistant à soumettre chaque proposition politique à une rédaction détaillée et plausible, car c’est là que les propositions faibles s’effondrent, tandis que chacun prétend verbalement avoir la bonne recette.

Il n’y a pas que le plan A : les alternatives sont sur la table

Le document ne raconte pas simplement un scénario privilégié. Dans un supplément dédié à la comparaison des plans possibles, édité par Eli Lifland, l’équipe compare le plan A avec quatre alternatives concrètes, et les résultats constituent la partie la plus intéressante pour les acteurs politiques, car ils explicitent le prix de chaque choix plus agressif.

1. Plan B (cinétique ou cyber) : les États-Unis sabotent activement les programmes d’IA chinois, avec des attaques conventionnelles dans la variante la plus dure ou avec des opérations cybernétiques et de chaîne d’approvisionnement dans la variante la plus confinée, pour obtenir un avantage temporel pour investir dans la sécurité.
2. Plan C+ : ralentissement grâce à la réglementation intérieure américaine, sans sabotage direct de la Chine, en se concentrant sur le contrôle des exportations et en attirant les talents chinois aux États-Unis.
3. Plan C : le laboratoire d’IA en tête de la course décide de manière autonome de brûler une partie de son avantage compétitif pour investir dans la sécurité, avec ou sans coordination avec les autres laboratoires frontières.
4. Plan D : la course continue quasiment à vitesse maximale, avec une part faible mais non nulle des ressources dédiées à la sécurité.
5. Plan S : Un gel indéfini de tout progrès en matière de capacités frontalières, pendant au moins quelques années, avec des conditions de reprise liées aux progrès en matière d’alignement, de vérification ou d’autres seuils de sécurité.

Les estimations attribuent à Plan A une probabilité estimée à environ 70-80% d’éviter un rachat par des systèmes non alignés, contre des pourcentages qui chutent à 20-30% pour le Plan D dans sa forme la plus compétitive. Une autre donnée est également intéressante : interrogés sur la probabilité que quelque chose de similaire au plan A se produise, les membres de l’équipe eux-mêmes donnent des estimations entre 3 % et 15 %. Ils sont les premiers à parier, en silence, contre leur propre proposition préférée.

Recommandations politiques secondaires

Conscients qu’un accord international complet est, au mieux, un objectif à moyen terme, les auteurs combinent le Plan A avec une liste d’interventions plus immédiates, conçues pour ceux qui ne peuvent pas attendre jusqu’en 2029 pour commencer à agir.

• Transparence : réduire l’écart entre les modèles utilisés en interne par les entreprises et ceux rendus publics, car c’est dans l’usage interne, notamment dans l’automatisation de la recherche par l’IA, que se concentre le plus grand risque.
• Application plus stricte des contrôles à l’exportation de puces, qui sont actuellement contournés à grande échelle.
• Investissements dans des technologies de vérification indépendantes, pour permettre des accords de ralentissement sans avoir à faire aveuglément confiance à l’autre partie.
• Limiter le budget informatique alloué à la R&D en IA, pour ralentir le rythme des progrès en matière de capacités et donner au monde le temps de réagir à chaque nouvelle vague.
• Suivi systématique des capacités de calcul, notamment sur la chaîne d’approvisionnement des puces et des centres de données, et arrêt du recyclage des puces inutilisées, l’une des filières les plus prometteuses pour les projets clandestins d’IA.
• Une plus grande capacité pour les gouvernements à surveiller de près la technologie, au lieu de dépendre presque entièrement des mêmes entreprises qui développent les modèles pour comprendre ce qui se passe.

C’est une liste qui devrait être familière à ceux qui suivent depuis un certain temps le débat européen sur l’IA Act et la gouvernance des modèles frontières : la différence est qu’ici les propositions ne sont pas abstraites, mais inscrites dans une séquence temporelle précise, avec des effets estimés sur chaque variable.

Parce que ce scénario nous concerne aussi

On pourrait penser qu’un document centré sur les relations américano-chinoises et sur la géopolitique des puces inquiète peu ceux qui travaillent à la transformation numérique de l’administration publique italienne. C’est une erreur de perspective. Les décisions prises dans les trois ou quatre prochaines années sur la manière de ralentir, réguler ou accélérer le développement des modèles frontières détermineront les conditions d’accès à la technologie pour tous les acteurs qui, comme les municipalités italiennes, n’ont aucun poids de négociation dans cette comparaison.

Si la route sera celle de Plan Aavec une transparence généralisée et l’ouverture des frontières à des dizaines d’entreprises dans davantage de pays, l’accès à des modèles sûrs et vérifiables sera plus large et plus équitable.

Si une sorte de logique prévaut à la place Plan Dune course presque ouverte avec des marges de sécurité minimes, le risque n’est pas seulement celui, lointain et spéculatif, d’une perte de contrôle sur des systèmes surhumains. C’est aussi le risque, bien plus concret et bien plus proche, d’un accès à la frontière technologique réservé à très peu de sujets, dans très peu de pays, tous les autres, y compris l’AP italienne, étant définitivement relégués à un échelon en dessous.

Un plan qui s’expose à la critique

Les auteurs sont honnêtes sur un point qui mérite d’être signalé : Plan A il ne prétend pas être le seul scénario possible, ni la solution parfaite. Il s’agit plutôt de rendre visibles, de manière aussi détaillée que possible, les faiblesses des propositions politiques présentées aujourd’hui, avant qu’il ne soit trop tard pour les corriger. C’est une invitation, adressée à ceux qui proposent des alternatives, à les soumettre au même niveau d’examen : écrire le scénario, ligne par ligne, et voir s’il tient la route.

Ce n’est pas un exercice destiné aux professionnels de la sécurité de l’IA. C’est, tout bien considéré, la seule façon sérieuse de discuter d’un avenir qui, selon les chiffres avancés par l’équipe elle-même, pourrait se concrétiser beaucoup plus tôt que ne le pensent la plupart des gens, à l’intérieur et à l’extérieur de l’administration publique.

Source : AI Futures Project, « AI 2040 : Plan A » (ai-2040.com)