Comment le risque d’armes IA pourrait devenir incontrôlable

Parfois, l’IA n’est pas aussi intelligente que nous le pensons. Les chercheurs entraînant un algorithme pour identifier le cancer de la peau pensaient avoir réussi jusqu’à ce qu’ils découvrent qu’il utilisait la présence d’une règle pour l’aider à faire des prédictions. Plus précisément, leur ensemble de données consistait en des images où un pathologiste avait mis une règle pour mesurer la taille des lésions malignes.

Il a étendu cette logique pour prédire les tumeurs malignes à toutes les images au-delà de l’ensemble de données, identifiant par conséquent les tissus bénins comme malignes si une règle était dans l’image.

Le problème ici n’est pas que l’algorithme AI a fait une erreur. La préoccupation découle plutôt de la façon dont l’IA « pense ». Aucun pathologiste humain n’arriverait à cette conclusion.

Ces cas de «raisonnement» défectueux abondent – des algorithmes RH qui préfèrent embaucher des hommes parce que l’ensemble de données est biaisé en leur faveur pour propager les disparités raciales dans le traitement médical. Maintenant qu’ils connaissent ces problèmes, les chercheurs se précipitent pour les résoudre.

Récemment, Google a décidé de mettre fin à son interdiction de longue date de développer des armes d’IA. Cela englobe potentiellement l’utilisation de l’IA pour développer des armes, ainsi que l’IA dans la surveillance et les armes qui pourraient être déployées de manière autonome sur le champ de bataille. La décision est intervenue quelques jours après que la société mère Alphabet a connu une baisse de 6% du cours de son action.

Ce n’est pas la première incursion de Google dans les eaux troubles. Il a travaillé avec le ministère américain de la Défense sur l’utilisation de sa technologie d’IA pour Project Maven, qui impliquait la reconnaissance d’objets pour les drones.

Lorsque les nouvelles de ce contrat sont devenues publiques en 2018, elle a déclenché des réactions à partir d’employés qui ne voulaient pas que la technologie qu’ils développent soient utilisées dans les guerres. En fin de compte, Google n’a pas renouvelé son contrat, qui a été repris par son rival Palantir.

La vitesse à laquelle le contrat de Google a été renouvelé par un concurrent a conduit certains à noter l’inévitabilité de ces développements, et qu’il valait peut-être mieux être à l’intérieur pour façonner l’avenir.

De tels arguments, bien sûr, supposent que les entreprises et les chercheurs pourront façonner l’avenir comme ils le souhaitent. Mais des recherches antérieures ont montré que cette hypothèse est erronée pour au moins trois raisons.

Le piège de la confiance

Premièrement, les êtres humains sont susceptibles de tomber dans ce qui est connu comme un «piège de confiance». J’ai fait des recherches sur ce phénomène, par lequel les gens supposent que, depuis que la prise de risque antérieure a payé, prendre plus de risques à l’avenir est justifié.

Dans le contexte de l’IA, cela peut signifier une étendue progressive de l’utilisation d’un algorithme au-delà de son ensemble de données de formation. Par exemple, une voiture sans conducteur peut être utilisée sur un itinéraire n’a pas été couverte dans sa formation.

Cela peut lancer des problèmes. Il y a maintenant une abondance de données sur lesquelles l’IA de voitures sans conducteur peut tirer, et pourtant des erreurs se produisent. Des accidents comme la voiture Tesla qui ont conduit dans un jet de 2,75 millions de livres sterling lorsqu’ils sont invoqués par son propriétaire dans un cadre inconnu, peut encore se produire. Pour les armes IA, il n’y a même pas beaucoup de données pour commencer.

Deuxièmement, l’IA peut raisonner d’une manière étrangère à la compréhension humaine. Cela a conduit à l’expérience de réflexion sur papier, où l’IA est invitée à produire autant de trombones que possible. Il le fait tout en consommant toutes les ressources, y compris ceux nécessaires à la survie humaine.

Bien sûr, cela semble trivial. Après tout, les humains peuvent définir des directives éthiques. Mais le problème réside dans le fait d’être incapable d’anticiper comment un algorithme d’IA pourrait réaliser ce que les humains lui ont demandé et ainsi perdre le contrôle. Cela pourrait même inclure une «tricherie». Dans une expérience récente, l’IA a triché pour gagner des jeux d’échecs en modifiant les fichiers système indiquant les positions des pièces d’échecs, ce qui lui permet de faire des mouvements illégaux.

Mais la société peut être disposée à accepter des erreurs, comme pour les victimes civiles causées par des grèves de drones dirigées par les humains. Cette tendance est quelque chose que l’on connu sous le nom de «banalité des extrêmes» – les humains normalisent même les cas les plus extrêmes du mal en tant que mécanisme cognitif à faire. L ‘ »aliéné » du raisonnement de l’IA peut simplement fournir plus de couverture pour le faire.

Troisièmement, des entreprises comme Google qui sont associées au développement de ces armes pourraient être trop importantes pour échouer. En conséquence, même lorsqu’il y a des cas clairs de l’IAT qui se trompe, il est peu probable qu’ils soient tenus responsables. Ce manque de responsabilité crée un danger car il désincivire l’apprentissage et les actions correctives.

Le «confortable» des dirigeants de la technologie avec le président américain Donald Trump ne fait que naître le problème car il dilue davantage la responsabilité.

Plutôt que de rejoindre la course vers le développement des armes de l’IA, une approche alternative serait de travailler sur une interdiction complète de son développement et de son utilisation.

Bien que cela puisse sembler irréalisable, considérez la menace du trou dans la couche d’ozone. Cela a provoqué une action unifiée rapide sous la forme d’interdiction des CFC qui l’ont provoqué. En fait, il n’a fallu que deux ans aux gouvernements pour s’entendre sur une interdiction mondiale des produits chimiques. Cela témoigne de ce qui peut être réalisé face à une menace claire, immédiate et bien reconnue.

Contrairement au changement climatique – qui, malgré les preuves écrasantes, continue d’avoir des détracteurs – la reconnaissance de la menace des armes de l’IA est presque universelle et comprend les principaux entrepreneurs et scientifiques technologiques.

En fait, l’interdiction de l’utilisation et du développement de certains types d’armes a un précédent – les pays ont après tout fait la même chose pour les armes biologiques. Le problème ne réside pas dans aucun pays en voulant un autre l’avoir avant qu’ils ne le fassent, et aucune entreprise ne voulant perdre dans le processus.

En ce sens, le choix d’armement de l’IA ou de l’interdire reflétera les souhaits de l’humanité. L’espoir est que le meilleur côté de la nature humaine prévaudra.