Qui est Zico Kolter? Un professeur dirige le panel de sécurité d'OpenAI avec le pouvoir d'arrêter les versions dangereuses de l'IA

Si vous pensez que l’intelligence artificielle présente de graves risques pour l’humanité, alors un professeur de l’Université Carnegie Mellon joue actuellement l’un des rôles les plus importants dans l’industrie technologique.

Zico Kolter dirige un panel de 4 personnes chez OpenAI qui a le pouvoir d'arrêter la sortie de nouveaux systèmes d'IA par le fabricant de ChatGPT s'il les juge dangereux. Il pourrait s’agir d’une technologie si puissante qu’un malfaiteur pourrait l’utiliser pour fabriquer des armes de destruction massive. Il pourrait également s’agir d’un nouveau chatbot si mal conçu qu’il nuirait à la santé mentale des gens.

« Nous ne parlons pas ici uniquement de préoccupations existentielles », a déclaré Kolter dans une interview à l'Associated Press. « Nous parlons de l'ensemble des problèmes de sûreté et de sécurité et des sujets critiques qui surviennent lorsque nous commençons à parler de ces systèmes d'IA très largement utilisés. »

OpenAI a choisi l'informaticien pour présider son comité de sûreté et de sécurité il y a plus d'un an, mais ce poste a pris une importance accrue la semaine dernière lorsque les régulateurs de Californie et du Delaware ont fait de la surveillance de Kolter un élément clé de leurs accords pour permettre à OpenAI de former une nouvelle structure commerciale pour lever plus facilement des capitaux et réaliser des bénéfices.

La sécurité est au cœur de la mission d'OpenAI depuis sa création en tant que laboratoire de recherche à but non lucratif il y a dix ans, dans le but de créer une IA meilleure que l'humain qui profite à l'humanité. Mais après que la sortie de ChatGPT ait déclenché un boom commercial mondial de l’IA, la société a été accusée d’avoir précipité ses produits sur le marché avant qu’ils ne soient totalement sûrs afin de rester en tête de la course. Les divisions internes qui ont conduit à l’éviction temporaire du PDG Sam Altman en 2023 ont fait connaître à un public plus large les inquiétudes selon lesquelles l’entreprise s’était éloignée de sa mission.

L'organisation basée à San Francisco a fait face à des représailles, notamment à un procès du co-fondateur Elon Musk, lorsqu'elle a entamé des démarches pour se transformer en une entreprise à but lucratif plus traditionnelle afin de continuer à faire progresser sa technologie.

Les accords annoncés la semaine dernière par OpenAI avec le procureur général de Californie, Rob Bonta, et la procureure générale du Delaware, Kathy Jennings, visaient à apaiser certaines de ces inquiétudes.

Au cœur des engagements formels se trouve la promesse que les décisions en matière de sûreté et de sécurité doivent passer avant les considérations financières alors qu'OpenAI forme une nouvelle société d'utilité publique qui est techniquement sous le contrôle de sa fondation à but non lucratif OpenAI.

Kolter sera membre du conseil d'administration de l'organisation à but non lucratif, mais pas du conseil d'administration de l'organisation à but lucratif. Mais il aura « des droits d'observation complets » pour assister à toutes les réunions du conseil d'administration à but lucratif et avoir accès aux informations obtenues sur les décisions en matière de sécurité de l'IA, selon le protocole d'accord de Bonta avec OpenAI. Kolter est la seule personne, outre Bonta, mentionnée dans ce long document.

Kolter a déclaré que les accords confirment largement que son comité de sécurité, formé l'année dernière, conservera les autorités dont il disposait déjà. Les trois autres membres siègent également au conseil d’administration d’OpenAI – l’un d’eux est l’ancien général de l’armée américaine Paul Nakasone, qui était commandant du Cyber ​​Command américain. Altman s'est retiré du comité de sécurité l'année dernière, une décision considérée comme lui donnant plus d'indépendance.

« Nous avons la possibilité de faire des choses comme demander des retards dans la publication des modèles jusqu'à ce que certaines mesures d'atténuation soient respectées », a déclaré Kolter. Il a refusé de dire si le comité de sécurité avait déjà dû interrompre ou atténuer une libération, invoquant la confidentialité de ses délibérations.

Kolter a déclaré qu'il y aura une variété de préoccupations concernant les agents d'IA à prendre en compte dans les mois et les années à venir, allant de la cybersécurité – « Un agent qui rencontre un texte malveillant sur Internet pourrait-il accidentellement exfiltrer des données ? » – aux problèmes de sécurité concernant les pondérations des modèles d'IA, qui sont des valeurs numériques qui influencent le fonctionnement d'un système d'IA.

« Mais il y a aussi des sujets qui sont émergents ou vraiment spécifiques à cette nouvelle classe de modèle d'IA qui n'ont pas de véritable analogue dans la sécurité traditionnelle », a-t-il déclaré. « Les modèles permettent-ils aux utilisateurs malveillants de disposer de capacités bien plus élevées lorsqu'il s'agit de concevoir des armes biologiques ou de réaliser des cyberattaques malveillantes ?

« Et enfin, il y a simplement l'impact des modèles d'IA sur les gens », a-t-il déclaré. « L'impact sur la santé mentale des gens, les effets de l'interaction des personnes avec ces modèles et ce que cela peut causer. Je pense que toutes ces choses doivent être abordées du point de vue de la sécurité. »

OpenAI a déjà fait l'objet de critiques cette année concernant le comportement de son chatbot phare, notamment un procès pour mort injustifiée de la part de parents californiens dont le fils adolescent s'est suicidé en avril après de longues interactions avec ChatGPT.

Kolter, directeur du département d'apprentissage automatique de Carnegie Mellon, a commencé à étudier l'IA alors qu'il était étudiant en première année à l'Université de Georgetown au début des années 2000, bien avant que cette pratique ne soit à la mode.

« Quand j'ai commencé à travailler dans l'apprentissage automatique, il s'agissait d'un domaine de niche ésotérique », a-t-il déclaré. « Nous l'avons appelé apprentissage automatique parce que personne ne voulait utiliser le terme IA, car l'IA était un domaine ancien qui avait fait trop de promesses et n'avait pas tenu ses promesses. »

Kolter, 42 ans, suit OpenAI depuis des années et était suffisamment proche de ses fondateurs pour avoir assisté à sa soirée de lancement lors d'une conférence sur l'IA en 2015. Pourtant, il ne s'attendait pas à la rapidité avec laquelle l'IA progresserait.

« Je pense que très peu de gens, même ceux qui travaillent en profondeur dans le domaine de l'apprentissage automatique, ont vraiment anticipé l'état actuel dans lequel nous nous trouvons, l'explosion des capacités, l'explosion des risques qui émergent en ce moment », a-t-il déclaré.

Les défenseurs de la sécurité de l'IA suivront de près la restructuration d'OpenAI et le travail de Kolter. L'un des critiques les plus virulents de l'entreprise se dit « prudemment optimiste », surtout si le groupe de Kolter « est réellement capable d'embaucher du personnel et de jouer un rôle solide ».

« Je pense qu'il a le genre d'expérience qui a du sens pour ce rôle. Il semble être un bon choix pour diriger cela », a déclaré Nathan Calvin, avocat général de la petite organisation à but non lucratif chargée de la politique en matière d'IA, Encode. Calvin, qu'OpenAI a ciblé avec une assignation à comparaître à son domicile dans le cadre de son enquête pour se défendre contre le procès de Musk, a déclaré qu'il souhaitait qu'OpenAI reste fidèle à sa mission initiale.

« Certains de ces engagements pourraient être très importants si les membres du conseil d'administration les prennent au sérieux », a déclaré Calvin. « Ils pourraient aussi n'être que des mots sur papier et être assez éloignés de tout ce qui se passe réellement. Je pense que nous ne savons pas encore dans lequel de ceux-ci nous nous trouvons. »