Satya Nadella, PDG de Microsoft : "Nous devons partir du principe que tous les modèles d'IA sont compromis et les contenir dès le début"

« Faites le moins confiance possible aux modèles. » Satya Nadella s’est exprimé sur Twitter et a choisi de lier l’intelligence artificielle à court terme : en séparant la fourniture d’intelligence de l’autorité sur celle-ci. Ou, ce qui revient au même, entourez les modèles de règles, d’autorisations et de surveillance indépendante. L’idée de base est simple : avec les logiciels traditionnels, nous pourrions retracer un comportement jusqu’à une ligne de code, mais pas avec les modèles actuels.

Beaucoup de puissance et peu d’explications. Les entreprises font travailler des agents d’IA sur des systèmes importants, avec accès à des données sensibles et confidentielles, même si nous ne pouvons pas expliquer pourquoi un modèle d’IA avancé fait ce qu’il fait. Qui plus est, même pour agir en notre nom. C’est pourquoi Nadella est directe : « Nous ne pouvons pas sous-traiter la responsabilité de ce que font les services de renseignement en notre nom. » Et il ajoute que les garanties du fournisseur modèle ne nous exonèrent pas de cette responsabilité.

Traitez l’IA comme un risque interne. Ce qu’il propose, c’est de traiter les modèles comme des employés dotés de nombreuses autorisations : le moins d’autorité possible, un enregistrement de tout ce qu’ils font et la possibilité de les arrêter. Cela n’est pas dû au fait qu’ils sont nécessairement malveillants, mais parce que tout acteur capable ayant accès à des systèmes importants peut commettre des erreurs ou être compromis.

Ce n’est pas la première fois que le PDG de Microsoft prône le contrôle humain : « si l’IA que nous construisons n’aide pas l’humanité et n’est pas sous contrôle humain, cela ne vaut pas la peine de la poursuivre », écrivait-il sur Twitter/X il y a un mois.

Les principes de Satya. Dans sa publication, il défend sept principes (diversité des modèles, observation totale, vérifiabilité, contrôles indépendants, audit indépendant, confinement et divulgation des incidents) qui peuvent être résumés en trois idées :

Indépendance : aucun modèle ne doit se vérifier ou être la seule dépendance pour un résultat important. Celui qui audite ne doit pas avoir de rapport avec ce qui est audité.
Transparence : chaque action importante doit laisser une trace lisible et infalsifiable. De plus, être capable d’observer la chaîne de pensée n’est pas négociable, même si cela ne suffit pas.
Confinement : supposez dès le départ que tout modèle peut être compromis et agissez en conséquence, avec des outils qui permettent de l’arrêter à tout moment et en informant les personnes concernées en cas de défaillance.

Pourquoi est-ce important ? Parce que cela change l’accent sur l’endroit où la confiance est placée, en la concentrant sur le système qui l’entoure en termes de conception. Si nous ne pouvons pas voir à l’intérieur du modèle (Nadella parle de boîtes noires), alors la sécurité dépend de l’environnement : « nous devons construire des systèmes confinés dont nous pouvons observer le comportement, dont nous pouvons tester les limites et dont nous pouvons toujours contenir les actions ». Et il pose une règle claire qui marque les limites : « si vous ne pouvez pas l’observer, vous ne pouvez pas lui faire confiance ».

La majorité des entreprises d’IA sont si claires qu’il y aura une catastrophe majeure dans les mois à venir et Satya Nadella prône la prévention avant de guérir : il vise le pire, en supposant que les modèles soient compromis et en étant capable de les contenir dès le début avec un frein d’urgence. Face à ce scénario, le PDG de Microsoft souligne qu’il est nécessaire qu’il y ait une norme commune sous forme de technologie de confinement.

D’où parle le PDG de Microsoft. La position de Satya Nadella mérite un peu de contextualisation : il est PDG et président de la société derrière Windows, qui fabrique également ses propres modèles d’IA, vend le cloud Azure à ceux qui utilisent des modèles tiers et est en concurrence avec d’autres grandes technologies. Elle défend un écosystème aux modèles fermés et ouverts, où aucune entreprise ne dépend d’un seul fournisseur et où toutes conservent la maîtrise de leurs connaissances et de leurs modèles.

C’est un poste qui correspond à votre entreprise : s’il existe de nombreux modèles, ils ont tous besoin d’un cloud pour les exécuter. Bien sûr, cela n’est pas sans contradictions : alors qu’il prône un rythme plus détendu dans le développement de l’IA, Microsoft construit davantage de centres de données, juste ce qu’il faut pour créer et exécuter des modèles plus puissants.

À Simseo | Satya Nadella, PDG de Microsoft : « Si toute la valeur est concentrée dans quelques modèles d’IA, l’économie politique ne le tolérera pas »

À Simseo | Nous nous demandons depuis des années combien d’emplois l’IA va détruire. Satya Nadella a une autre théorie : nous posons mal la question

Couverture | Microsoft avec ChatGPT