Les ex-ouvriers d’Openai demandent à la Californie et au Delaware AGS pour bloquer la conversion à but lucratif de Chatgpt Maker

Les anciens employés d’Openai demandent aux principaux agents de l’application des lois de Californie et du Delaware d’empêcher l’entreprise de changer le contrôle de sa technologie de renseignement artificiel d’une organisation caritative à but non lucratif à une entreprise à but lucratif.

Ils se préoccupent de ce qui se passe si le fabricant de chatpt réalise son ambition de construire l’IA qui surpasse les humains, mais n’est plus responsable de sa mission publique pour protéger cette technologie de causer de graves dommages.

« En fin de compte, je m’inquiète de savoir qui possède et contrôle cette technologie une fois qu’elle est créée », a déclaré Page Hedley, ancien conseiller en politique et éthique à Openai, dans une interview avec l’Associated Press.

Soutenu par trois lauréats du prix Nobel et autres défenseurs et experts, Hedley et neuf autres anciens travailleurs openai ont envoyé une lettre cette semaine aux deux procureurs généraux de l’État.

La coalition demande au procureur général de Californie Rob Bonta et au procureur général du Delaware, Kathy Jennings, les deux démocrates, pour utiliser leur autorité pour protéger le but caritatif d’Openai et bloquer sa restructuration prévue. Openai est incorporé au Delaware et opère à San Francisco.

Openai a déclaré en réponse que « toute modification de notre structure existante serait au service de garantir que le public plus large puisse bénéficier de l’IA ». Il a déclaré que sa société à but lucratif sera une société de prestations publiques, similaire à d’autres laboratoires d’IA comme le XAI de Anthropic et Tech Billionaire Elon Musk, sauf qu’Openai préservera toujours un bras à but non lucratif.

« Cette structure continuera de garantir que, à mesure que le but à but lucratif réussit et se développe, il en va de même pour l’organisme à but non lucratif, nous permettant d’atteindre la mission », a déclaré la société dans un communiqué.

La lettre est la deuxième pétition des représentants de l’État ce mois-ci. Le dernier est venu d’un groupe de dirigeants du travail et d’organismes à but non lucratif axés sur la protection des milliards de dollars d’Openai d’actifs caritatifs.

Jennings a déclaré l’automne dernier qu’elle « examinerait une telle transaction pour s’assurer que les intérêts du public étaient adéquatement protégés ». Le bureau de Bonta a demandé plus d’informations à Openai à la fin de l’année dernière, mais a déclaré qu’elle ne pouvait pas commenter, même pour confirmer ou nier si elle enquête.

Les co-fondateurs d’Openai, y compris le PDG actuel Sam Altman et Musk, l’ont initialement lancé comme un laboratoire de recherche à but non lucratif en mission pour construire en toute sécurité ce qui est connu sous le nom d’intelligence générale artificielle, ou AGI, pour le bénéfice de l’humanité. Près d’une décennie plus tard, OpenAI a déclaré sa valeur marchande à 300 milliards de dollars et compte 400 millions d’utilisateurs hebdomadaires de Chatgpt, son produit phare.

Openai a déjà une filiale à but lucratif mais fait face à un certain nombre de défis dans la conversion de sa structure de gouvernance de base. L’un est un procès de Musk, qui accuse l’entreprise et Altman de trahir les principes fondateurs qui ont conduit le PDG de Tesla à investir dans l’organisme de bienfaisance.

Alors que certains des signataires de la lettre de cette semaine soutiennent le procès de Musk, Hedley a déclaré que d’autres étaient « naturellement cyniques » parce que Musk gère également sa propre entreprise rivale d’IA.

Les signataires comprennent deux économistes lauréats du prix Nobel, Oliver Hart et Joseph Stiglitz, ainsi que les pionniers de l’IA et les informaticiens Geoffrey Hinton, qui a remporté le prix Nobel de physique de l’année dernière, et Stuart Russell.

« J’aime la mission d’Openai de » veiller à ce que l’intelligence générale artificielle profite à toute l’humanité « , et j’aimerais qu’elles exécutent cette mission au lieu d’enrichir leurs investisseurs », a déclaré Hinton dans un communiqué mercredi. « Je suis heureux qu’il y ait un effort pour tenir Openai à sa mission qui n’implique pas Elon Musk. »

Les conflits sur l’objectif d’Openai ont depuis longtemps mijoté le San Francisco Institute, contribuant à l’arrêt de Musk en 2018, à l’éviction de courte durée d’Altman en 2023 et à d’autres départs de haut niveau.

Hedley, un avocat de formation, a travaillé pour OpenAI en 2017 et 2018, une époque où l’association à but non lucratif naviguait toujours les meilleures façons de gérer la technologie qu’elle voulait construire. Pas plus tard qu’en 2023, Altman a déclaré que Advanced IA était prometteuse mais a également mis en garde contre des risques extraordinaires, des accidents drastiques aux perturbations sociétales.

Ces dernières années, cependant, Hedley a déclaré qu’il regardait avec préoccupation Openai, soutenu par le succès de Chatgpt, réduisait de plus en plus les coins des tests de sécurité et se précipitant de nouveaux produits pour devancer les concurrents des entreprises.

« Les coûts de ces décisions continueront d’augmenter à mesure que la technologie devient plus puissante », a-t-il déclaré. « Je pense que dans la nouvelle structure qu’Openai veut, les incitations à se précipiter à prendre ces décisions augmenteront et il n’y aura plus personne vraiment qui peut leur dire de ne pas leur dire que ce n’est pas OK. »

L’ingénieur logiciel Anish Tondwalkar, un ancien membre de l’équipe technique d’Openai jusqu’à l’année dernière, a déclaré qu’une assurance importante dans la charte à but non lucratif d’Openai est une « clause d’assistance » qui ordonne à OpenAI de se retirer et d’aider si une autre organisation approche de la réalisation d’une IA meilleure que celle de l’homme.

« Si Openai est autorisé à devenir un but lucratif, ces garanties et le devoir d’Openai envers le public peuvent disparaître du jour au lendemain », a déclaré Tondwalkar dans un communiqué mercredi.

Un autre ancien travailleur qui a signé la lettre le met plus franc.

« Openai peut un jour construire une technologie qui pourrait nous faire tuer tous », a déclaré Nisan Stiennon, un ingénieur d’IA qui a travaillé à Openai de 2018 à 2020. « Il s’agit d’Openai le crédit qu’il est contrôlé par un organisme sans but lucratif avec une obligation envers l’humanité. Cette obligation empêche d’abandonner ce contrôle. »