De plus en plus d’ingénieurs en IA perdent leur emploi pour avoir parlé ouvertement des risques de l’IA. Et ils veulent de la protection

Leopold Aschenbrenner, un chercheur d'OpenAI qui travaillait sur la sécurité de ses modèles, a été récemment licencié. La raison : soulever des questions sur la sécurité de ses modèles et partager un document qui, selon OpenAI, contenait des informations sensibles, une accusation qu'il nie.

Dans le passé, nous avons assisté à des mouvements de ce type. Geoffrey Hinton, considéré comme l'un des « parrains de l'IA », a quitté Google en mai 2023 pour alerter librement sur ses risques « terrifiants ».

Avant, fin 2020, quelque chose de similaire s'était produit avec Timnit Gebru, un ingénieur qui travaillait dans la division éthique de l'IA de Google. Elle a publié une étude mettant en garde contre les risques de l’IA, même si ses patrons lui avaient demandé de ne pas le faire, et a fini par être licenciée. Tout cela a mis une chose au clair.

Si vous travaillez dans l'IA et prévenez de ses risques, tu risques ton travail.

C’est la raison principale pour laquelle il y a quelques heures, un groupe d’anciens employés d’OpenAI et de Google DeepMind a publié une lettre ouverte de plaidoyer. Selon eux, les sociétés d’intelligence artificielle devraient être autorisées à parler des risques de l’IA sans craindre d’éventuelles représailles.

Intitulée « Droit d'alerte sur l'intelligence artificielle avancée », la lettre rassemble les idées de ces 13 anciens salariés – d'autres peuvent se joindre à la pétition – et résume une situation préoccupante dans le secteur : des progrès trop rapides et sans prise en compte prend en compte les risques liés à ces avancées.

Les signataires affirment que même si l'IA peut apporter des avantages à toute l'humanité, elle présente également de graves risques tels que l'aggravation des inégalités, son utilisation à des fins de manipulation ou de désinformation et même « la perte de contrôle des systèmes d'IA autonomes qui entraîner potentiellement l’extinction de l’humanité« .

Dans le New York Times, ils citent les propos de Daniel Kokotajlo, ancien chercheur de la division gouvernance d'OpenAI. Selon lui, la société « est vraiment enthousiaste à l'idée de créer une AGI, et elle fait une course imprudente pour être la première à y arriver ».

Dans la lettre ouverte, ces ingénieurs demandent, entre autres, aux entreprises de ne pas exercer de représailles contre les salariés qui dénoncent les risques. Ils exigent également la possibilité de partager des informations confidentielles liées à ces risques en cas d'échec d'autres processus d'avertissement du danger.

Les représailles sont apparemment là : selon des données récentes, OpenAI utilisait des accords de confidentialité très restrictifs qui avaient un impact direct sur ce type de divulgation des risques : si vous voulez me critiquer, adieu vos actions. Sam Altman a nié ces conditions et a ajouté qu'ils réexaminaient ces conditions si un employé quittait l'entreprise.

La lettre ouverte a été signée par des personnalités telles que Yoshua Bengio, Geoffrey Hinton et Stuart J. Russell. Pour d'autres experts comme Yann LeCun, responsable de l'IA chez Meta, « tout le débat sur le risque existentiel (de l'IA) C'est exagéré et très prématuré« . Cela ne veut pas dire que pouvoir parler de ces risques par la communauté qui travaille au développement de ces systèmes est éthiquement et moralement idéal.

Images | Photos de Tri-Star

À Simseo | Sam Altman dirigera le comité de sécurité OpenAI qui surveille les développements de Sam Altman. Cela ne semble pas être une bonne idée