Donner à l’IA un contrôle direct sur quoi que ce soit est une mauvaise idée – voici comment cela pourrait nous faire du mal

La sortie du chatbot avancé ChatGPT en 2022 a fait parler tout le monde d’intelligence artificielle (IA). Ses capacités sophistiquées ont amplifié les inquiétudes quant au fait que l’IA devienne si avancée que nous ne serions bientôt plus en mesure de la contrôler. Cela a même conduit certains experts et chefs de file de l’industrie à avertir que la technologie pourrait conduire à l’extinction humaine.

D’autres commentateurs, cependant, n’étaient pas convaincus. L’éminent professeur de linguistique, Noam Chomsky, a qualifié ChatGPT de « plagiat de haute technologie ».

Pendant des années, j’étais détendu quant à la perspective de l’impact de l’IA sur l’existence humaine et notre environnement. C’est parce que je l’ai toujours considéré comme un guide ou un conseiller pour les humains. Mais la perspective que les IA prennent des décisions – exerçant un contrôle exécutif – est une autre affaire. Et c’est celui qui est maintenant sérieusement diverti.

L’une des principales raisons pour lesquelles nous ne devrions pas laisser l’IA avoir un pouvoir exécutif est qu’elle manque totalement d’émotion, ce qui est crucial pour la prise de décision. Sans émotion, sans empathie et sans boussole morale, vous avez créé le parfait psychopathe. Le système résultant peut être très intelligent, mais il lui manquera le noyau émotionnel humain qui lui permet de mesurer les conséquences émotionnelles potentiellement dévastatrices d’une décision par ailleurs rationnelle.

Quand l’IA prend le contrôle exécutif

Il est important de noter que nous ne devrions pas seulement considérer l’IA comme une menace existentielle si nous devions la confier aux arsenaux nucléaires. Il n’y a pratiquement aucune limite au nombre de postes de contrôle à partir desquels il pourrait exercer des dommages inimaginables.

Considérez, par exemple, comment l’IA peut déjà identifier et organiser les informations nécessaires pour construire votre propre véranda. Les itérations actuelles de la technologie peuvent vous guider efficacement à chaque étape de la construction et éviter de nombreuses erreurs de débutant. Mais à l’avenir, une IA pourrait agir en tant que chef de projet et coordonner la construction en sélectionnant des entrepreneurs et en les payant directement à partir de votre budget.

L’IA est déjà utilisée dans presque tous les domaines du traitement de l’information et de l’analyse des données, de la modélisation des conditions météorologiques au contrôle des véhicules sans conducteur en passant par l’aide aux diagnostics médicaux. Mais c’est là que les problèmes commencent – lorsque nous laissons les systèmes d’IA passer du rôle de conseiller à celui de directeur exécutif.

Au lieu de simplement suggérer des solutions aux comptes d’une entreprise, que se passerait-il si une IA recevait un contrôle direct, avec la possibilité de mettre en œuvre des procédures de recouvrement de créances, d’effectuer des virements bancaires et de maximiser les profits, sans aucune limite sur la manière de procéder. Ou imaginez un système d’IA fournissant non seulement un diagnostic basé sur des rayons X, mais ayant le pouvoir de prescrire directement des traitements ou des médicaments.

Vous pourriez commencer à vous sentir mal à l’aise face à de tels scénarios – je le ferais certainement. La raison pourrait être votre intuition que ces machines n’ont pas vraiment « d’âme ». Ce ne sont que des programmes conçus pour digérer d’énormes quantités d’informations afin de simplifier des données complexes en modèles beaucoup plus simples, permettant aux humains de prendre des décisions avec plus de confiance. Ils n’ont pas et ne peuvent pas avoir d’émotions, qui sont intimement liées aux sens et aux instincts biologiques.

Émotions et morale

L’intelligence émotionnelle est la capacité à gérer nos émotions pour surmonter le stress, faire preuve d’empathie et communiquer efficacement. Cela importe sans doute plus dans le contexte de la prise de décision que le seul renseignement, car la meilleure décision n’est pas toujours la plus rationnelle.

Il est probable que l’intelligence, la capacité de raisonner et d’opérer logiquement, puisse être intégrée dans des systèmes alimentés par l’IA afin qu’ils puissent prendre des décisions rationnelles. Mais imaginez demander à une IA puissante dotée de capacités exécutives de résoudre la crise climatique. La première chose à faire serait de réduire drastiquement la population humaine.

Cette déduction n’a pas besoin de beaucoup d’explications. Nous, les humains, sommes, presque par définition, la source de la pollution sous toutes ses formes possibles. Axe l’humanité et le changement climatique seraient résolus. Ce n’est pas le choix auquel les décideurs humains viendraient, on l’espère, mais une IA trouverait ses propres solutions – impénétrables et non encombrées par une aversion humaine à causer du tort. Et s’il avait un pouvoir exécutif, il n’y aurait peut-être rien pour l’empêcher d’agir.

Scénarios de sabotage

Que diriez-vous de saboter les capteurs et les moniteurs contrôlant les fermes alimentaires ? Cela peut se produire progressivement au début, en poussant les commandes juste au-delà d’un point de basculement afin qu’aucun humain ne remarque que les cultures sont condamnées. Dans certains scénarios, cela pourrait rapidement conduire à la famine.

Sinon, que diriez-vous de fermer le contrôle du trafic aérien à l’échelle mondiale, ou simplement de faire s’écraser tous les avions en vol à un moment donné ? Quelque 22 000 avions sont normalement dans les airs simultanément, ce qui représente un bilan potentiel de plusieurs millions de morts.

Si vous pensez que nous sommes loin d’être dans cette situation, détrompez-vous. Les IA conduisent déjà des voitures et pilotent des avions militaires, de manière autonome.

Sinon, que diriez-vous de fermer l’accès aux comptes bancaires dans de vastes régions du monde, déclenchant des troubles civils partout à la fois ? Ou éteindre les systèmes de chauffage contrôlés par ordinateur au milieu de l’hiver, ou les systèmes de climatisation au plus fort de la chaleur estivale ?

En bref, un système d’IA n’a pas besoin d’être chargé d’armes nucléaires pour représenter une menace sérieuse pour l’humanité. Mais tant que nous sommes sur ce sujet, si un système d’IA était suffisamment puissant et intelligent, il pourrait trouver un moyen de simuler une attaque contre un pays doté d’armes nucléaires, déclenchant des représailles initiées par l’homme.

L’IA pourrait-elle tuer un grand nombre d’humains ? La réponse doit être oui, en théorie. Mais cela dépend en grande partie de la décision des humains de lui donner le contrôle exécutif. Je ne peux pas vraiment penser à quelque chose de plus terrifiant qu’une IA qui peut prendre des décisions et a le pouvoir de les mettre en œuvre.