l’IA n’est pas devenue folle et a tué un être humain. Ce n’était même pas une simulation

Les 23 et 24 mai, la Royal Aeronautical Society a organisé un événement intitulé « Future Combat Air & Space Capabilities Summit » à Londres. Là, 70 orateurs ont proposé diverses conférences sur l’avenir du combat aérien, et dans l’une d’elles, ils ont parlé d’une expérience supposée qui rappelait l’IA tueuse de Skynet dans « Terminator 2 ». Les choses n’étaient pas (loin de là) aussi terribles qu’il les a peintes.

Tucker ‘Cinq’ Hamilton. Ce colonel de l’USAF est le responsable des tests d’IA dans cette organisation militaire. Il connaît quelque chose sur le sujet : il a été chargé de diriger le développement des F-16 Autonomous Ground Collision Avoidance Systems (Auto-GCAS) qui empêchent ces avions de s’écraser et qui ont déjà sauvé des vies. Il fait également partie de l’équipe de travail qui veut développer un F-16 autonome avec lequel un certain succès a été obtenu.

Une expérience très hypothétique. Selon Vice, lors de son discours, Hamilton a semblé souligner que l’Air Force avait effectué une simulation avec un résultat terrible. Dans celui-ci, ils auraient entraîné un drone autonome contrôlé par l’IA pour identifier et détruire la menace des missiles sol-air (SAM). Un opérateur de simulation confirmait la cible avant de l’abattre, mais quelque chose se produisit.

L’IA qui a « tué » l’humain. Il s’est avéré que si l’opérateur ordonnait que cette menace ne soit pas tuée, l’IA finirait par tuer l’opérateur humain car elle marquait des points pour avoir tué la menace d’origine. Lors de la détection de cette situation, l’IA serait reprogrammée pour spécifier qu’elle ne pouvait pas tuer l’opérateur et perdrait des points pour cela. Qu’a fait l’IA ? Détruisez la tour de communication que l’opérateur utilisait pour communiquer avec le drone pour l’empêcher de ne pas éliminer la menace et la cible.

Il n’y a pas eu de morts, pas même de simulation. L’histoire publiée dans Vice a fait sensation sur les réseaux sociaux tels que Reddit, où il a été rapidement commenté que nous assistions à ce moment terrible où une IA décide de détruire l’être humain comme Skynet l’a déjà fait dans « Terminator 2 ». Cependant, la porte-parole de l’Air Force, Ann Stefanek, a nié sur Insider qu’une telle simulation ait eu lieu. « Il semble que les commentaires du colonel aient été sortis de leur contexte et destinés à être anecdotiques », a-t-il expliqué. Il n’y a pas eu de mort d’être humain dans la vraie vie – comme certains gros titres semblaient l’impliquer – ou dans la simulation, car il n’y avait même pas de simulation. Tout était une histoire dystopique. Pour que?

Nous devons être vigilants. Bien que le colonel Hamilton n’ait pas réussi à expliquer pourquoi ses propos ont été sortis de leur contexte, tout indique qu’il a raconté cette histoire pour avertir du danger de l’application de l’IA dans le domaine militaire. Dans une interview avec Defence IQ Press en 2022, Hamilton lui-même a expliqué que « l’IA est également très fragile, c’est-à-dire qu’elle est facile à tromper et/ou à manipuler. Nous devons développer des moyens de rendre l’IA plus robuste et plus consciente ». pourquoi le code logiciel prend certaines décisions… ».

Le maximiseur de clip. Le scénario décrit avec Hamilton rappelle les dystopies précédentes dans lesquelles il est clair que l’alignement de l’IA – pour faire ce que nous voulons – est plus complexe qu’il n’y paraît car nous ne spécifions peut-être pas bien tout ce scénario. En 2003, le philosophe Nick Bostrom —qui affirmait qu’il y a 50 % de chances que nous vivions dans une simulation— parlait du « clip maximaliser », une expérience selon laquelle une IA finirait par se rebeller contre l’être humain en poursuivant un objectif précis. objectif. Dans ce cas, une puissante IA a reçu l’ordre de créer autant de clips que possible. L’IA mentirait, supplierait ou tricherait pour maximiser la production, mais elle finirait même par tuer les humains car elle déciderait qu’ils pourraient finir par la fermer.

alors faites attention. L’approche d’Hamilton s’apparente donc à celle de Bostrom, et rappelle que lors du développement de tels systèmes il faut être très prudent : les aligner sur des objectifs humains n’est pas aussi simple qu’il n’y paraît : on peut oublier de prendre en compte certains facteurs, et que aurait un impact imprévisible. Heureusement, dans ce cas, tout est resté dans cette « anecdote », mais l’avertissement est là. Sam Altman lui-même, PDG d’OpenAI, l’a dit clairement lors de sa récente comparution devant le Congrès américain : « Je pense que si cette technologie va mal, elle peut aller assez mal. »