Le conflit violent de l'IA-humain est-il inévitable?

Vous craignez que l'intelligence artificielle et les humains iront à la guerre? Les experts de l'IA sont. En 2023, un groupe de penseurs d'élite a signé la déclaration du Center for AI Safety selon laquelle « l'atténuation du risque d'extinction de l'IA devrait être une priorité mondiale aux côtés d'autres risques à l'échelle sociétale tels que les pandémies et la guerre nucléaire ».

Dans une enquête publiée en 2024, 38% à 51% des chercheurs d'IA de haut niveau ont attribué une probabilité d'au moins 10% à la déclaration « AI avancée conduisant à des résultats aussi mauvais que l'extinction humaine ».

L'inquiétude ne concerne pas les modèles de grande langue (LLMS) d'aujourd'hui, qui sont essentiellement d'énormes machines de saisie automatique, mais sur l'intelligence générale avancée (AGI) – des agents de planification à long terme hypothétiques qui peuvent remplacer le travail humain dans un large éventail de systèmes économiques de la société.

En eux-mêmes, ils pouvaient concevoir des systèmes, déployer un large éventail de ressources et planifier des objectifs complexes. De tels AIS pourraient être extrêmement utiles dans le monde humain, effectuant et optimisant la génération d'électricité, l'extraction des ressources, la production industrielle et agricole, et de nombreuses autres fonctions dont les humains ont besoin pour prospérer. Nous espérons que ces Agis seront amicaux avec l'humanité et la Terre, mais il n'y a aucune garantie.

Les AIS avancés pourraient développer des objectifs qui nous semblent étranges, mais bénéfiques dans leur propre pensée d'une manière que nous ne comprenons pas.

Selon qui développe l'IA (toux, ingénieurs hautement techniques, toux), il peut ne pas prendre note de nos valeurs humaines culturelles, historiques et partagées. Il pourrait s'améliorer récursivement, développer des objectifs que nous ne comprenons pas et ajoutant des humains à l'aider.

Avec de telles pensées à l'esprit, Simon Goldstein de l'Université de Hong Kong a analysé la possibilité que les AIS et les humains entrent dans un conflit violent et présentent un risque catastrophique pour l'humanité. Son article est publié dans la revue IA et société.

Il est probable que les objectifs de l'IA – signifiant généralement, dans cet article, AGI – entre en conflit avec les objectifs des humains, car les développeurs créeront des IA pour avoir des objectifs pour qu'ils surpassent les humains. Par exemple, les AIS surpassent déjà les humains aux buts de la victoire aux échecs et au jeu de GO. Et les conceptions d'IA ne « ne s'alignent pas » sur les objectifs humains ou n'affichent pas des comportements involontaires.

Plus il y a de puissance, d'autonomie et de ressources disponibles pour l'IA, plus elle peut faire pour les humains. Dans tous les cas, les IS ne sont pas explicitement donnés par des objectifs – ils apprennent indirectement, des matériaux existants, et sont essentiellement une boîte noire.

Un environnement de formation d'une IA peut ne pas se généraliser lorsqu'il est libéré dans un nouvel environnement. Une IA en regardant l'environnement mondial pourrait-elle décider que les humains ont été un négatif net pour la santé et la vie des espèces non humaines et décider que les humains doivent être éliminés?

L'article de Goldstein se concentre sur trois caractéristiques d'Agis: « (i) Ils ont des objectifs contradictoires avec l'humanité, (ii) ils peuvent s'engager dans un raisonnement stratégique, et (iii) ils ont un degré de pouvoir de niveau humain. »

À mesure que les AIS s'améliorent dans les capacités, Goldstein s'attend à ce que les gouvernements prennent à un moment donné le contrôle des plus puissants d'entre eux, nationalisant les gens comme Openai des États-Unis et Alibaba en Chine.

Par exemple, il a déclaré à Phys.org que « si les modèles d'Openai étaient responsables de 50% du marché du travail américain, je m'attendrais à ce que le gouvernement américain nationalise OpenAI et distribue leurs loyers monopolistiques en tant qu'Ubi. » (Les loyers du monopole sont les bénéfices excessifs qu'un monopoliste gagne à la suite de son monopole. UBI signifie un revenu de base universel, une quantité régulière et inconditionnelle d'argent que les citoyens reçoivent de leur gouvernement, probablement nécessaires en tant qu'IA et des robots de plus en plus mis au profit du travail.)

À mesure que les IA deviennent plus capables et prennent plus de tâches, peut-être de manière non linéaire, leur compréhension des infrastructures vitales pourrait les mettre en position de négociation. Joli marché boursier que vous avez là-bas. Ce serait dommage que quelque chose y arrive.

Leurs capacités pourraient être reproduites et distribuées dans le nuage et dans les machines réelles, ce qui signifie que la bougie d'un IA voyou ne mettrait pas fin au problème. Différentes AIS pourraient même coopérer, les humains ignorant les collaborations.

Goldstein écrit qu'avant Agis, les humains peuvent même ne pas connaître leurs capacités ou leurs objectifs, dans la façon dont ils connaissent généralement l'objectif de leur ennemi dans les situations de combat non-ai-ai du monde réel. Une IA peut ne pas respecter les frontières nationales, la géographie, les villes humaines ou les prisonniers de guerre comme les humains sont habitués, limite Goldstein appelle des «points focaux».

Il pourrait rechercher, encourager ou forcer les guerres civiles. Ou il pourrait ne pas chercher à posséder des biens ou des personnes du tout et de « combattre » de nouvelles manières, semblable à la façon dont les moteurs d'échecs font parfois des mouvements étranges qui se révèlent être des gagnants.

Une IA combative pourrait ne jamais accepter une trêve. Il peut ou non former un gouvernement et pourrait, par exemple, contraindre un financement pour une police pour assurer sa propre sécurité.

Les AIS et les humains devraient-ils avoir des objectifs contradictoires? Le conflit deviendra-t-il violent? Pour analyser les questions, Goldstein utilise un « modèle de négociation de guerre » qui a été introduit par James Feron pour la première fois en 1995.

Le modèle se concentre sur les causes de la guerre qui sont «structurelles», concernant la puissance des deux parties au niveau national, plutôt que «individuelle», qui concerne les objectifs de leaders particuliers. Ce modèle suggère un biais pour la paix dans les conflits humains humains.

Lorsque Goldstein a appliqué le modèle aux conflits de l'IA-humaine, il soutient que « la considération de ce modèle ne donne pas de raisons fortes de s'attendre à la paix entre l'IA et l'humanité. La prédiction de la paix ne s'applique que lorsque les parties s'entendent sur les chances de victoire et peuvent s'engager de manière crédible à des négociations ».

Dans un tel conflit, Goldstein identifie deux obstacles principaux à la paix: le conflit aura des défaillances de l'information et des problèmes d'engagement.

Les capacités d'IA sont très difficiles à mesurer. Il y aura très probablement une asymétrie dans les informations disponibles de chaque côté d'un conflit humain de l'IA, et chaque côté pourrait analyser les informations de différentes manières et donc en désaccord sur les chances de victoire.

La résolution de ce problème d'information n'est pas aussi «simple» que le développement de la machine Enigma qu'Alan Turing et ses collègues l'ont fait pendant la Seconde Guerre mondiale. De plus, si les capacités de l'IA se développent elles-mêmes grâce à ses propres efforts ou avec l'aide de personnes, les capacités émergentes pourraient surprendre et même submerger les humains.

« Le problème est qu'il existe un risque substantiel que les causes habituelles de paix entre les parties conflictuelles soient absentes de l'IA / conflit humain. »

Goldstein considère de nombreuses facettes qui pourraient survenir dans les conflits de l'IA-humaine et conclut que l'IA et l'humanité sont relativement susceptibles d'aller à la guerre « … une fois qu'Agis contrôlera une grande fraction des ressources économiques mondiales ».

Plus concrètement, a-t-il dit: « Le moment où le conflit est rationnel sera quand leur [AGI’s] Le contrôle des ressources est suffisamment important pour que leurs chances de succès dans les conflits l'emportent sur nos avantages dans la conception d'Agis pour être fermés. « 

Fiction? Geoffrey Hinton, l'informaticien canadien britannique qui a remporté le prix Nobel de physique 2024 pour son travail sur l'IA, a déclaré que l'année dernière, il y avait une chance de « 10% à 20% » que l'IA conduirait à l'extinction humaine au cours des trois prochaines décennies. L'enregistrement ne vous aidera pas.