La nouvelle société composée de deux ex-OpenAI est née après la crise qui a failli mettre fin à Altman. Et il veut être ce qu'ils ne l'ont pas laissé être là.
La nouvelle société d'Ilya Sutskever, ancien d'OpenAI, porte un nom qui est une déclaration d'intention. A propos d'elle-même et de ce qui sera désormais sa concurrence : « Safe Superintelligence », en abrégé SSI.
Parce que c'est important. Son lancement, avec à sa tête d’anciens dirigeants d’OpenAI, marque une étape notable dans la quête d’un avenir sécurisé pour l’IA. Justement ce qui a dynamisé l'entreprise en interne, avec la victoire finale d'Altman.
SSI cherche à garantir que les systèmes d’IA superintelligents soient développés avec la sûreté et la sécurité comme priorités clés. Éviter d’éventuelles conséquences catastrophiques.
Le contexte. La superintelligence fait référence aux systèmes d’IA qui surpassent l’intelligence humaine dans tous les domaines. Assurer la sécurité de ces systèmes est crucial, car leurs capacités pourraient influencer de nombreux aspects de nos vies.
La mission de SSI, résumée dans son site Web d'entreprise très simple, est de faire progresser les capacités de l'IA tout en gardant toujours l'accent sur la sécurité, en essayant de résoudre ce double défi grâce à des innovations techniques et scientifiques, et sans urgences commerciales.
Le défi. Créer une superintelligence sécurisée implique de surmonter plusieurs obstacles, à la fois techniques et philosophiques :
- Problème d'alignement. Veiller à ce que les systèmes d’IA agissent conformément aux intentions humaines. Les méthodes actuelles, telles que l’apprentissage par renforcement basé sur le feedback humain, sont insuffisantes pour superviser des systèmes d’IA nettement plus intelligents que les humains.
- Évolutivité de la sécurité. Les techniques actuelles d’alignement de l’IA ne permettent pas d’atteindre les niveaux requis pour la superintelligence. De nouvelles avancées scientifiques et techniques sont nécessaires pour développer des mesures de sécurité fiables.
- Équilibre entre vitesse et sécurité. SSI cherche à faire progresser rapidement les capacités de l’IA tout en garantissant que les mesures de sécurité ont toujours une longueur d’avance. Cela nécessite un équilibre délicat et une innovation continue.
En perspective. Des analystes tels que Chirag Mehta ont exprimé des doutes quant à l'ambiguïté du concept de « superintelligence sécurisée » et à ses implications pratiques.
Le lancement de SSI attirera des chercheurs ayant une forte vocation pour le développement sûr de l’IA et peut-être déçus par l’approche actuelle d’une grande partie de l’industrie, qui donne la priorité aux produits commercialisables plutôt qu’aux considérations éthiques.
Avec l'annonce de la nouvelle société, reste à savoir quels types de profils y sont intégrés, et quel est le contexte de chacun. Il sera également intéressant de voir qui le finance et avec qui il s’associe pour mesurer son potentiel et atteindre ses objectifs.
Image en vedette | OpenAI, Simseo
À Simseo | Nvidia, OpenAI et Microsoft sont les grands gagnants de l'IA. Les États-Unis estiment avoir trop de pouvoir
