Comme les céréales, l’IA a besoin d’« étiquettes nutritionnelles », questions-réponses du PDG d’IA

Les gens devraient exiger de la transparence dans l’intelligence artificielle, comme ils le font dans leur petit-déjeuner, déclare Mike Capps, dont la société Howso à Raleigh permet aux utilisateurs de voir comment l’IA arrive à ses conclusions.

« Vous voudrez la même chose pour décider si vous recevrez des soins de santé ou si votre enfant entrera à l’université », a-t-il déclaré. « Vous voulez avoir la même étiquette nutritionnelle sur le côté. »

Ancien président d’Epic Games, Capps a cofondé Howso (initialement nommé Diveplane) en 2018. Depuis, l’intelligence artificielle a décollé. Aujourd’hui, les organisations l’utilisent pour des décisions importantes concernant les procédures médicales, les approbations de crédit et même les libérations conditionnelles.

Capps affirme que trop de moteurs de programmes d’IA actuels proposent des variantes de « l’IA boîte noire » qui obscurcissent la façon dont les jugements finaux sont portés

« Nous voulons que les gens arrêtent d’utiliser ces conneries et utilisent les nôtres à la place », a-t-il déclaré. « C’est une bataille difficile, mais nous y parviendrons. »

En septembre, Howso a rendu open source son moteur d’IA, qui permet aux utilisateurs de concevoir des plates-formes explicables basées sur l’intelligence artificielle. Et à la fin du mois dernier, Capps s’est rendu à Washington, DC, pour prendre la parole lors du 7e forum annuel AI Insight du Sénat américain.

Le lendemain, il a parlé au News & Observer des erreurs des grandes entreprises technologiques à propos de l’IA, de ce qu’il pense que Howso a raison et des raisons pour lesquelles tout le monde devrait s’en soucier.

Cette conversation a été modifiée pour plus de clarté.

Q : Pouvez-vous donner un exemple d’intelligence artificielle « boîte noire » utilisée aujourd’hui ?

R : Spotify intègre l’IA et développe son activité grâce à une excellente IA qui constitue une boîte noire. Le DJ choisit-il la musique pour vous en fonction de votre histoire ou parce que Spotify aimerait que vous voyiez plus d’artistes comme celui-ci ? Nous ne le savons pas.

Q : En quoi le moteur de Howso est-il différent ?

R : Nous faisons de l’IA attribuable, c’est-à-dire que vous pouvez dire : si Brian se fait opérer, voici les 17 points de données qui ont été les plus importants dans cette décision. Je peux attribuer cette décision à ces points de données ici.

Nous avons un client, Scanbuy, qui travaille avec tous les grands détaillants pour faire de l’intelligence client. Ils utilisent donc notre outil intégré pour pouvoir faire des prédictions sur ce que les clients achèteront, mais le font d’une manière explicable.

NC State et UNC l’utilisent tous deux pour certains projets. Il existe quelques autres universités qui ne sont pas encore publiques et qui travaillent avec. Une partie du passage à l’open source consiste à (tout le monde peut) l’utiliser. C’est donc assez récent.

Parmi les autres clients de Howso figurent Mastercard, la compagnie d’assurance espagnole Mutua de Madrileña et le Département de la santé comportementale et des services de développement de Virginie.

Q : En quoi l’IA boîte noire constitue-t-elle globalement un problème ?

R : Voici comment je l’explique : pourquoi nous soucions-nous de ce qu’il y a dans les céréales ?

Nous mettons les ingrédients de côté, car s’ils ne sont pas là, faisons-nous vraiment confiance à chaque fabricant de produits alimentaires pour le faire de la bonne manière ? Maintenant, légalement, vous devez le faire. Et nous savons que tout le monde ne le lit pas, mais le fait qu’il soit là fait partie de la façon dont nous le savons.

(Faire une boîte noire) est également un mauvais développement logiciel.

Nous parlons de décisions qui ont de graves conséquences humaines. S’il y a un bug dans le logiciel, vous pouvez le réparer. Mais si vous utilisez un gros système d’IA boîte noire, vous ne savez pas s’il présente un bug ou non. C’est trop compliqué à comprendre. Et il n’y a aucun moyen de résoudre ce problème.

Il n’y a aucun moyen de revenir en arrière et de dire : « Pourquoi Brian n’a-t-il pas obtenu la promotion alors que le système d’IA a dit non ? Si vous ne pouvez pas auditer ni réparer le problème, vous devrez alors faire face à un coût de remplacement énorme.

Q : Les décisions en matière de libération conditionnelle sont évidemment extrêmement importantes. Comment voyez-vous l’IA existante échouer dans ce domaine ?

R : Les décisions en matière de libération conditionnelle sont prises en tenant compte des décisions antérieures en matière de libération conditionnelle, qui peuvent ou non être biaisées sur le plan racial, puis à grande échelle.

Nous savons tous que les systèmes judiciaires sont en retard. Nous savons tous que nous aimerions trouver un moyen de les rendre plus rapides et plus efficaces. Mais le compromis que vous faites est que nous pourrions accélérer le racisme.

Q : Quels obstacles se dressent entre le paysage actuel de l’IA et l’avenir explicable de l’IA que vous souhaiteriez voir ?

R : Les systèmes d’IA véritablement transparents ne sont tout simplement pas ce qui est populaire de nos jours. Nous avons battu le tambour, avec le Dr (Cynthia) Rubin chez Duke, que c’est possible, que ça marche. Nous ne devrions pas continuer à emprunter cette voie de la boîte noire.

En général, les gens veulent cette transparence, mais on craint qu’en partageant toutes les données que vous utilisez pour former un grand modèle d’IA, cela fasse partie de la sauce secrète.

Mais il y a eu un excellent orateur (lors de l’audience du Sénat) qui a déclaré que si nous ne pouvons pas travailler ensemble et voir comment ces modèles sont formés, nous ne pourrons pas nous améliorer ensemble. Il s’agit donc essentiellement de protéger leur espace financier au lieu d’aider l’ensemble du domaine à s’améliorer.