pourquoi OpenAI pense déjà aux risques d’AGI
S’il est un thème classique dans les films de science-fiction, c’est bien celui des machines qui finissent par conquérir le monde. Cette dystopie dépeinte dans des titres emblématiques tels que « Terminator », « Moi, robot » ou même « The Matrix » ne nous semblait qu’un thème de ces films ou romans de science-fiction, mais la vérité est que le danger est réel.
On ne le dit pas : Sam Altman, PDG d’OpenAI, le dit, qui a expliqué dans un article récent sur le blog officiel de l’entreprise comment cette recherche d’une intelligence artificielle qui profite à toute l’humanité peut mal se terminer si nous n’y prenons garde.
Altman a parlé de l’appel Intelligence artificielle générale (AGI), qui seront beaucoup plus capables que les systèmes actuels et permettront théoriquement à l’humanité de progresser de manière sans précédent. Cependant, son développement et son déploiement ne sont pas sans risque.
La chose surprenante ici est que l’on s’attendrait à ce qu’OpenAI soit plus confiant avec une évolution plus ou moins sécurisée de ce domaine. Ils ne semblent pas l’être du tout, et précisément cet article a montré quelques lignes directrices avec lesquelles OpenAI propose d’affronter un avenir dans lequel les machines pourraient finir par dominer l’humanité.
Intelligence artificielle générale, forte et faible
L’obtention d’un AGI est le Saint Graal pour ceux qui travaillent dans ce domaine. Avec cette intelligence artificielle générale, il serait possible de résoudre n’importe quelle tâche intellectuelle résoluble par un être humain.
En fait, la théorie est que ces systèmes seraient capables de porter des jugements et de raisonner dans une situation d’incertitude, ainsi que de communiquer en langage naturel, de planifier ou d’apprendre.
Cette intelligence artificielle générale n’est bien sûr pas ce que nous vendent les films de science-fiction hollywoodiens. Dans des intrigues comme « Terminator », nous avons un intelligence artificielle fortequi a les soi-disant « états mentaux » et est également conscient de soi.
Ce que cette discipline propose aujourd’hui, ce sont des systèmes de intelligence artificielle faible, capable de résoudre des problèmes très spécifiques et limités. Par exemple, jouer aux échecs, discuter comme le fait ChatGPT ou générer des images spectaculaires d’un entraînement précédent.
La prochaine étape, oui, est celle de cette « superintelligence artificielle » ou intelligence artificielle générale qui, en tant que ils ont expliqué dans OpenAI, ce serait un système hautement autonome et qui « surpasse de loin tous les humains dans les emplois les plus précieux sur le plan économique ».
AGI a ses avantages, mais aussi ses inconvénients.
Il est vrai qu’une intelligence artificielle généralisée pourrait résoudre de nombreux problèmes actuels et, comme on dit dans OpenAI, booster l’économie mondiale ou aider à réaliser de nouvelles découvertes scientifiques « qui changent les limites du possible », mais aussi présente des risques.
Dans OpenAI, ils reconnaissent l’existence de risques tels que l’abus ou la perturbation de la société, mais ils pensent qu’il est possible d’éviter ces risques bien qu’ils reconnaissent que « ce qui semble correct en théorie finit souvent par se comporter plus étrangement que prévu dans la pratique ».
Pour obtenir le bon chemin vers cet AGI, ils pensent que les étapes à suivre sont claires. Il est important, disent-ils, de déployer ces systèmes et de voir comment ils fonctionnent « dans le monde réel » pour les voir évoluer.
Cela, soulignent-ils, donne aux personnes, aux institutions et aux régulateurs le temps de comprendre ce qui se passe afin d’agir en conséquence. Ongle itération prudente mais continue est également important pour ces avancées, mais ils expliquent que « à mesure que nos systèmes se rapprochent d’une AGI, nous devenons de plus en plus prudents dans la création et le déploiement de nos modèles ».
Pour éviter que ces déploiements n’impliquent plus de risques que d’avantages, chez OpenAI, ils évaluent constamment cet équilibre, et c’est ce qui s’est passé, par exemple, avec ChatGPT. Les systèmes sont serrés, mais le plan d’OpenAI est de permettre aux utilisateurs de modifier facilement le comportement de l’IA qu’ils utilisent.
Dans cette entreprise, ils assurent qu’ils s’attendent à être en contact permanent avec les institutions mondiales lorsqu’ils décident comment gouverner ces systèmes, comment distribuer leurs avantages et comment partager l’accès auxdits systèmes.
Il y a une clé pour essayer de contrôler ces avancées. Celui qui pourrait se résumer en « lent mais sûr » et que comme ils l’expliquent dans OpenAI il faut que ce développement aille pas à pas et toujours de manière très maîtrisée :
« L’AGI peut émerger bientôt ou dans un avenir lointain ; la vitesse d’évolution de l’AGI initial vers des itérations plus puissantes peut être lente ou rapide. Beaucoup d’entre nous pensent que le quadrant le plus sûr de cette matrice deux par deux est un délai court. et des taux d’évolution lents; des délais plus courts semblent plus propices à la coordination et sont plus susceptibles de conduire à une évolution plus lente en raison d’une charge de calcul moindre, et une évolution plus lente nous donne plus de temps pour déterminer empiriquement comment résoudre le problème de sécurité et comment s’adapter à nouvelles technologies ».
Ce même message est celui que d’autres personnalités du monde de la science ou de la technologie font aussi passer depuis longtemps : Stephen Hawking, Bill Gates ou Elon Musk l’ont déjà prévenu. Il y a des années, un groupe d’experts a créé l’association Future of Life, visant précisément à défendre un développement responsable de l’intelligence artificielle.
‘Terminator’ n’est pas exclu
A long terme les choses pourraient devenir dangereuses, car selon OpenAI cette première intelligence artificielle générale ne sera qu’un tournant à partir duquel les progrès seront tout aussi rapides.
Je viens de postuler à un nouvel emploi chez OpenAI. Souhaite moi bonne chance! pic.twitter.com/JVpQseLrS1
—Chris Bakke (@ChrisJBakke) 23 février 2023
En fait, plusieurs utilisateurs ils ont partagé sur Twitter l’offre d’emploi OpenAI pour un « ingénieur pour un coupe-circuit » (ou arrêt) qui devrait être conscient de déconnecter les serveurs en cas de catastrophe. Cela montre déjà de bons signes de
En fait, explique Altman, « Certaines personnes dans le domaine de l’IA pensent que les risques de l’AGI (et des systèmes successifs) sont fictifs ; nous serions ravis s’ils s’avéraient exacts, mais nous allons fonctionner comme si ces risques étaient existentiels. » « . Indexez ces risques en disant ce qui suit :
« La transition vers un monde doté d’une super intelligence est peut-être le projet le plus important – et le plus prometteur, et le plus terrifiant – de l’histoire de l’humanité. Le succès n’est en aucun cas garanti, et il faut espérer que les enjeux (désavantages illimités et avantages illimités ) nous unissent tous ».
Le résumé de tout cela est clair : espérer le meilleur et se préparer au pire. Ou essayez de l’être.
