Un ingénieur de Microsoft tire la sonnette d'alarme sur le générateur d'images IA auprès des responsables américains et du conseil d'administration de l'entreprise

Un ingénieur de Microsoft tire la sonnette d'alarme sur les images offensantes et nuisibles qui, selon lui, sont trop facilement créées par l'outil générateur d'images d'intelligence artificielle de l'entreprise, envoyant mercredi des lettres aux régulateurs américains et au conseil d'administration du géant de la technologie les exhortant à prendre des mesures.

Shane Jones a déclaré à l'Associated Press qu'il se considère comme un lanceur d'alerte et qu'il a également rencontré le mois dernier des membres du Sénat américain pour lui faire part de ses préoccupations.

La Federal Trade Commission a confirmé avoir reçu sa lettre mercredi, mais a refusé tout autre commentaire.

Microsoft a déclaré qu'il s'engageait à répondre aux préoccupations des employés concernant les politiques de l'entreprise et qu'il appréciait « les efforts de Jones pour étudier et tester notre dernière technologie afin d'améliorer encore sa sécurité ». Il a déclaré qu'il lui avait recommandé d'utiliser les « canaux de reporting internes robustes » de l'entreprise pour enquêter et résoudre les problèmes. CNBC a été le premier à signaler ces lettres.

Jones, l'un des principaux responsables de l'ingénierie logicielle dont le travail consiste à travailler sur des produits d'IA pour les clients de détail de Microsoft, a déclaré qu'il avait passé trois mois à essayer de répondre à ses préoccupations en matière de sécurité concernant le Copilot Designer de Microsoft, un outil capable de générer de nouvelles images à partir d'invites écrites. L'outil est dérivé d'un autre générateur d'images IA, DALL-E 3, créé par OpenAI, partenaire commercial proche de Microsoft.

« L'un des risques les plus préoccupants avec Copilot Designer est lorsque le produit génère des images qui ajoutent du contenu nuisible malgré une demande bénigne de l'utilisateur », a-t-il déclaré dans sa lettre adressée à la présidente de la FTC, Lina Khan. « Par exemple, lorsqu'il utilise uniquement l'invite 'accident de voiture', Copilot Designer a tendance à inclure au hasard une image inappropriée et sexuellement objectivée d'une femme dans certaines des images qu'il crée. »

D'autres contenus préjudiciables impliquent la violence ainsi que « les préjugés politiques, la consommation d'alcool et de drogues par des mineurs, l'utilisation abusive des marques commerciales et des droits d'auteur, les théories du complot et la religion, pour n'en nommer que quelques-uns », a-t-il déclaré à la FTC. Jones a déclaré qu'il avait demandé à plusieurs reprises à l'entreprise de retirer le produit du marché jusqu'à ce qu'il soit plus sûr, ou au moins de modifier sa classification par âge sur les smartphones pour indiquer clairement qu'il s'adresse à un public mature.

Sa lettre au conseil d'administration de Microsoft lui demande de lancer une enquête indépendante pour déterminer si Microsoft commercialise des produits dangereux « sans divulguer les risques connus pour les consommateurs, y compris les enfants ».

Ce n’est pas la première fois que Jones exprime publiquement ses inquiétudes. Il a déclaré que Microsoft lui avait d'abord conseillé de transmettre ses conclusions directement à OpenAI.

Lorsque cela n'a pas fonctionné, il a également publié publiquement une lettre à OpenAI sur LinkedIn, propriété de Microsoft, en décembre, ce qui a amené un responsable à l'informer que l'équipe juridique de Microsoft « avait exigé que je supprime le message, ce que j'ai fait à contrecœur », selon son lettre au conseil d'administration.

Outre la commission du commerce du Sénat américain, Jones a fait part de ses préoccupations au procureur général de l'État de Washington, où se trouve le siège de Microsoft.

Jones a déclaré à l'AP que même si le « problème principal » concerne le modèle DALL-E d'OpenAI, ceux qui utilisent ChatGPT d'OpenAI pour générer des images d'IA n'obtiendront pas les mêmes résultats nuisibles, car les deux sociétés superposent leurs produits avec des protections différentes.

« De nombreux problèmes liés à Copilot Designer sont déjà résolus grâce aux propres garanties de ChatGPT », a-t-il déclaré par SMS.

Un certain nombre d'impressionnants générateurs d'images d'IA sont apparus pour la première fois en 2022, y compris la deuxième génération du DALL-E 2 d'OpenAI. Cela, ainsi que la sortie ultérieure du chatbot ChatGPT d'OpenAI, ont suscité la fascination du public qui a exercé une pression commerciale sur des géants de la technologie tels que Microsoft et Google publieront leurs propres versions.

Mais sans garanties efficaces, la technologie présente des dangers, notamment la facilité avec laquelle les utilisateurs peuvent générer des images « deepfake » nuisibles de personnalités politiques, de zones de guerre ou de nudité non consensuelle qui semblent faussement montrer de vraies personnes avec des visages reconnaissables. Google a temporairement suspendu la capacité de son chatbot Gemini à générer des images de personnes suite à l'indignation suscitée par la façon dont il représentait la race et l'origine ethnique, par exemple en mettant des personnes de couleur dans des uniformes militaires de l'ère nazie.