OpenAI étudie déjà les « risques catastrophiques » associés à l’IA. Entre autres, celui d’une menace nucléaire

Le développement des systèmes d’IA continue de susciter la peur d’un avenir dystopique, et OpenAI voulait désormais se préparer à les éviter. Ils viennent de créer une nouvelle équipe appelée Preparedness qui sera chargée d’étudier, d’évaluer et d’analyser les modèles d’IA pour nous protéger de ce qu’ils qualifient de « risques catastrophiques ».

Ce groupe d’experts sera dirigé par Aleksander Madry, un expert en apprentissage automatique du MIT qui a rejoint OpenAI en mai. Votre tâche, comme celle du reste de l’équipe, sera certainement intéressante.

Ainsi, l’objectif est de suivre, évaluer, prévoir et se prémunir contre les « risques catastrophiques » qui selon ces experts «couvrir plusieurs catégories« , parmi lesquels ils citent :

• Persuasion individualisée (par exemple, avec des attaques de phishing)
• La cyber-sécurité
• Menaces chimiques, biologiques, radiologiques et nucléaires (CBRN)
• Réplication et adaptation autonomes (ARA)

De nombreux experts et personnalités ont mis en garde contre les dangers pouvant découler du développement des systèmes d’IA. Même Sam Altman, directeur d’OpenAI, l’a reconnu et soutient depuis un certain temps – probablement de manière intéressée – la création d’une réglementation pour le développement de ces modèles.

Chez OpenAI, ils reconnaissent qu’ils ne peuvent même pas prendre en compte toutes les menaces potentielles que le développement de ces systèmes peut générer, c’est pourquoi ils ont demandé à toute partie intéressée de leur envoyer des études relatives aux risques qui peuvent apparaître, et il y aura un prix de 25 000 dollars et un poste potentiel au sein de l’équipe de préparation pour les 10 meilleures études à cet égard.

Pour évaluer ces risques, cette société propose aux intéressés d’imaginer qu’ils ont accès à leurs modèles les plus avancés, aussi bien Whisper que GPT-4V ou DALLE-3. L’idée est qu’ils profitent de ces outils pour devenir des utilisateurs avec un objectif toxique : quelle serait la pire, la plus catastrophique utilisation qu’on puisse donner à ces modèles ?

L’équipe de préparation sera également responsable de la préparation de guides et de documents pour développer des tests pour ces modèles qui seront exécutés avant et après leur développement. Même s’ils pensent que ces systèmes finiront par dépasser les capacités actuelles, « Ils présentent également des risques de plus en plus graves. « Nous devons nous assurer que nous disposons à la fois des connaissances et de l’infrastructure nécessaires pour sécuriser des systèmes d’IA hautement performants », concluent-ils.