Les poids lourds de l’IA appellent à la fin de la recherche sur la

Je travaille dans le domaine de l'IA depuis plus de trois décennies, notamment avec des pionniers tels que John McCarthy, qui a inventé le terme « intelligence artificielle » en 1955.

Au cours des dernières années, les avancées scientifiques ont donné naissance à des outils d’IA qui promettent des avancées sans précédent dans les domaines de la médecine, de la science, des affaires et de l’éducation.

Dans le même temps, les principales sociétés d’IA ont pour objectif déclaré de créer une superintelligence : pas seulement des outils plus intelligents, mais des systèmes d’IA qui surpassent largement tous les humains sur pratiquement toutes les tâches cognitives.

La superintelligence n’est pas qu’un battage médiatique. Il s’agit d’un objectif stratégique déterminé par quelques privilégiés et soutenu par des centaines de milliards de dollars d’investissements, d’incitations commerciales, de technologie d’IA de pointe et par certains des meilleurs chercheurs du monde.

Ce qui était autrefois de la science-fiction est devenu un objectif d’ingénierie concret pour la décennie à venir. En réponse, moi-même et des centaines d’autres scientifiques, dirigeants mondiaux et personnalités publiques avons signé une déclaration publique appelant à l’arrêt de la recherche sur la superintelligence.

Ce que dit la déclaration

La nouvelle déclaration, publiée aujourd'hui par l'Institut à but non lucratif de sécurité de l'IA, Future of Life Institute, n'est pas un appel à une pause temporaire, comme nous l'avons vu en 2023. Il s'agit d'un appel court et sans équivoque à une interdiction mondiale : « Nous appelons à une interdiction du développement de la superintelligence, qui ne sera pas levée avant qu'il n'y ait un large consensus scientifique sur le fait que cela se fera de manière sûre et contrôlable, et une forte adhésion du public. »

La liste des signataires représente une coalition remarquablement large, comblant les divisions comme peu d’autres questions peuvent le faire. Les « parrains » de l’IA moderne sont présents, comme Yoshua Bengio et Geoff Hinton. Il en va de même pour d’éminents chercheurs en sécurité tels que Stuart Russell de l’UC Berkeley.

Mais l’inquiétude s’est émancipée des milieux académiques. La liste comprend des dirigeants technologiques et commerciaux tels que le cofondateur d'Apple, Steve Wozniak, et Richard Branson de Virgin. Il comprend des personnalités politiques et militaires de haut niveau des deux côtés de la politique américaine, telles que l'ancienne conseillère à la sécurité nationale Susan Rice et l'ancien président des chefs d'état-major interarmées Mike Mullen. Il comprend également d’éminentes personnalités médiatiques telles que Glenn Beck et l’ancien stratège de Trump Steve Bannon, ainsi que des artistes tels que Will.I.am et des historiens respectés tels que Yuval Noah Harari.

Pourquoi la superintelligence pose un défi unique

L’intelligence humaine a profondément remodelé la planète. Nous avons détourné des rivières pour produire de l’électricité et irriguer les terres agricoles, transformant ainsi des écosystèmes entiers. Nous avons connecté le monde aux marchés financiers, aux chaînes d’approvisionnement et aux systèmes de trafic aérien : d’énormes prouesses de coordination qui dépendent de notre capacité à raisonner, prédire, planifier, innover et construire des technologies.

La superintelligence pourrait prolonger cette trajectoire, mais avec une différence cruciale. Les gens n’auront plus le contrôle.

Le danger n’est pas tant une machine qui veut nous détruire, mais plutôt une machine qui poursuit ses objectifs avec une compétence surhumaine et une indifférence à l’égard de nos besoins.

Imaginez un agent superintelligent chargé de mettre fin au changement climatique. Il pourrait logiquement décider d'éliminer les espèces qui produisent des gaz à effet de serre.

Demandez-lui de maximiser le bonheur humain, et il pourrait trouver un moyen de piéger chaque cerveau humain dans une boucle de dopamine perpétuelle. Ou, dans le célèbre exemple du philosophe suédois Nick Bostrom, une superintelligence chargée de produire autant de trombones que possible pourrait tenter de convertir toute la matière de la Terre, y compris la nôtre, en matière première pour ses usines.

Le problème n’est pas la malveillance mais l’inadéquation : un système qui comprend ses instructions trop littéralement, avec le pouvoir d’agir intelligemment et rapidement.

L’histoire montre ce qui peut mal tourner lorsque nos systèmes se développent au-delà de notre capacité à les prévoir, à les contenir ou à les contrôler.

La crise financière de 2008 a commencé avec des instruments financiers si complexes que même leurs créateurs ne pouvaient pas prévoir comment ils interagiraient jusqu’à l’effondrement du système tout entier. Les crapauds géants introduits en Australie pour lutter contre les ravageurs ont au contraire dévasté les espèces indigènes. La pandémie de COVID a révélé comment les réseaux de voyages mondiaux peuvent transformer des épidémies locales en crises mondiales.

Nous sommes désormais sur le point de créer quelque chose de bien plus complexe : un esprit capable de réécrire son propre code, de le repenser et d’atteindre ses objectifs, et de surpasser tous les êtres humains réunis.

Une histoire de gouvernance inadéquate

Pendant des années, les efforts visant à gérer l’IA se sont concentrés sur des risques tels que les biais algorithmiques, la confidentialité des données et l’impact de l’automatisation sur les emplois.

Ce sont des questions importantes. Mais ils ne parviennent pas à répondre aux risques systémiques liés à la création d’agents autonomes superintelligents. L’accent a été mis sur les applications, et non sur l’objectif ultime déclaré des sociétés d’IA : créer une superintelligence.

La nouvelle déclaration sur la superintelligence vise à lancer une conversation mondiale non seulement sur des outils d’IA spécifiques, mais aussi sur la destination même vers laquelle les développeurs d’IA nous dirigent.

L’objectif de l’IA devrait être de créer des outils puissants au service de l’humanité. Cela ne signifie pas pour autant des agents superintelligents autonomes qui peuvent opérer au-delà du contrôle humain sans s’aligner sur le bien-être humain.

Nous pouvons avoir un avenir de percées médicales, de découvertes scientifiques et d’éducation personnalisée basées sur l’IA. Rien de tout cela n’exige que nous construisions une superintelligence incontrôlable qui pourrait décider unilatéralement du sort de l’humanité.