Il n’y a aucune preuve que l’IA puisse être contrôlée, prévient un chercheur

Il n’existe actuellement aucune preuve que l’IA puisse être contrôlée en toute sécurité, selon une étude approfondie, et sans preuve que l’IA peut être contrôlée, elle ne devrait pas être développée, prévient un chercheur.

Même s’il est reconnu que le problème du contrôle de l’IA pourrait être l’un des problèmes les plus importants auxquels l’humanité est confrontée, il reste mal compris, mal défini et peu étudié, explique le Dr Roman V. Yampolskiy.

Dans son livre, IA : inexplicable, imprévisible, incontrôlablele Dr Yampolskiy, expert en sécurité de l’IA, examine la manière dont l’IA a le potentiel de remodeler radicalement la société, pas toujours à notre avantage.

Il explique : « Nous sommes confrontés à un événement presque garanti susceptible de provoquer une catastrophe existentielle. Il n’est pas étonnant que beaucoup considèrent qu’il s’agit du problème le plus important que l’humanité ait jamais rencontré. L’issue pourrait être la prospérité ou l’extinction, et le sort de l’univers est en suspens. dans la balance. »

Superintelligence incontrôlable

Le Dr Yampolskiy a effectué une analyse approfondie de la littérature scientifique sur l’IA et affirme n’avoir trouvé aucune preuve que l’IA peut être contrôlée en toute sécurité – et même s’il existait des contrôles partiels, ils ne seraient pas suffisants.

Il explique : « Pourquoi tant de chercheurs supposent-ils que le problème du contrôle de l’IA peut être résolu ? À notre connaissance, il n’existe aucune preuve de cela. Avant de se lancer dans une quête visant à construire une IA contrôlée, il est important de montrer que le problème est résoluble.

« Ceci, combiné aux statistiques qui montrent que le développement de la superintelligence de l’IA est un événement presque garanti, montre que nous devrions soutenir un effort important en matière de sécurité de l’IA. »

Il affirme que notre capacité à produire des logiciels intelligents dépasse de loin notre capacité à les contrôler, voire à les vérifier. Après une analyse approfondie de la littérature, il suggère que les systèmes intelligents avancés ne pourront jamais être entièrement contrôlables et présenteront donc toujours un certain niveau de risque, quels que soient les avantages qu’ils procurent. Il estime que l’objectif de la communauté de l’IA devrait être de minimiser ce risque tout en maximisant les avantages potentiels.

Quels sont les obstacles ?

L’IA (et la superintelligence) se distinguent des autres programmes par sa capacité à apprendre de nouveaux comportements, à ajuster ses performances et à agir de manière semi-autonome dans des situations nouvelles.

L’un des problèmes liés à la « sécurité » de l’IA est que les décisions et les échecs possibles d’un être superintelligent à mesure qu’il devient plus capable sont infinis, il existe donc un nombre infini de problèmes de sécurité. Il n’est pas possible de simplement prédire les problèmes et les atténuer dans les correctifs de sécurité n’est peut-être pas suffisant.

Dans le même temps, explique Yampolskiy, l’IA ne peut pas expliquer ce qu’elle a décidé, et/ou nous ne pouvons pas comprendre l’explication donnée car les humains ne sont pas assez intelligents pour comprendre les concepts mis en œuvre. Si nous ne comprenons pas les décisions de l’IA et ne disposons que d’une « boîte noire », nous ne pouvons pas comprendre le problème et réduire la probabilité de futurs accidents.

Par exemple, les systèmes d’IA sont déjà chargés de prendre des décisions en matière de soins de santé, d’investissement, d’emploi, de banque et de sécurité, pour n’en citer que quelques-uns. De tels systèmes devraient être capables d’expliquer comment ils sont arrivés à leurs décisions, notamment pour montrer qu’ils sont impartiaux.

Yampolskiy déclare : « Si nous nous habituons à accepter les réponses de l’IA sans explication, en la traitant essentiellement comme un système Oracle, nous ne serions pas en mesure de dire si elle commence à fournir des réponses fausses ou manipulatrices. »

Contrôler l’incontrôlable

À mesure que les capacités de l’IA augmentent, son autonomie augmente également, mais notre contrôle sur elle diminue, explique Yampolskiy, et une autonomie accrue est synonyme d’une sécurité réduite.

Par exemple, pour que la superintelligence évite d’acquérir des connaissances inexactes et supprime tous les préjugés de ses programmeurs, elle pourrait ignorer toutes ces connaissances et tout redécouvrir/prouver à partir de zéro, mais cela supprimerait également tout préjugé pro-humain.

« Les agents (les personnes) moins intelligents ne peuvent pas contrôler en permanence les agents plus intelligents (ASI). Ce n’est pas parce que nous ne parviendrons pas à trouver une conception sûre pour la superintelligence dans le vaste espace de toutes les conceptions possibles, mais parce qu’une telle conception n’est pas possible. » « , ça n’existe pas. La superintelligence n’est pas rebelle, elle est incontrôlable au départ », explique-t-il.

« L’humanité est confrontée à un choix : devenons-nous comme des bébés, pris en charge mais sans contrôle, ou refusons-nous d’avoir un tuteur utile mais restons responsables et libres. »

Il suggère qu’un point d’équilibre pourrait être trouvé, auquel nous sacrifierions certaines capacités en échange d’un certain contrôle, au prix d’un système doté d’un certain degré d’autonomie.

Aligner les valeurs humaines

Une suggestion de contrôle consiste à concevoir une machine qui suit précisément les ordres humains, mais Yampolskiy souligne le risque d’ordres contradictoires, d’interprétations erronées ou d’utilisation malveillante.

Il dit : « Les humains qui contrôlent peuvent donner lieu à des ordres contradictoires ou explicitement malveillants, tandis que l’IA qui contrôle signifie que les humains ne le sont pas. »

Si l’IA agissait davantage en tant que conseiller, elle pourrait éviter les problèmes d’interprétation erronée des ordres directs et le potentiel d’ordres malveillants, mais l’auteur soutient que pour que l’IA soit un conseiller utile, elle doit avoir ses propres valeurs supérieures.

« La plupart des chercheurs en sécurité de l’IA recherchent un moyen d’aligner la future superintelligence sur les valeurs de l’humanité. L’IA alignée sur les valeurs sera par définition biaisée, les préjugés pro-humains, bons ou mauvais, restent un biais. Le paradoxe de l’IA alignée sur les valeurs est « Une personne ordonnant explicitement à un système d’IA de faire quelque chose peut obtenir un « non » alors que le système essaie de faire ce que la personne veut réellement. L’humanité est soit protégée, soit respectée, mais pas les deux », explique-t-il.

Minimiser les risques

Pour minimiser les risques de l’IA, il dit qu’elle doit être modifiable avec des options « d’annulation », limitée, transparente et facile à comprendre en langage humain.

Il suggère que toute IA devrait être classée comme contrôlable ou incontrôlable, et que rien ne devrait être retiré de la table et que des moratoires limités, voire des interdictions partielles sur certains types de technologies d’IA, devraient être envisagés.

Au lieu d’être découragé, dit-il, « c’est plutôt une raison, pour un plus grand nombre de personnes, de creuser plus profondément et d’augmenter les efforts et le financement de la recherche sur la sûreté et la sécurité de l’IA. Nous n’arriverons peut-être jamais à une IA sûre à 100 %, mais nous pouvons le faire. rendre l’IA plus sûre proportionnellement à nos efforts, ce qui est bien mieux que de ne rien faire. Nous devons utiliser cette opportunité à bon escient.