Lorsque vous souhaitez tester de nouveaux outils d'IA, assurez-vous d'éviter le « piège Tesla », conseillent les chercheurs

Si seuls les techno-optimistes peuvent tester les outils d’IA, les résultats ne seront tout simplement pas satisfaisants. C’est là que Tesla a commis une grave erreur, une leçon que le secteur de la santé ferait bien d’apprendre.

Tesla teste des voitures autonomes depuis de nombreuses années, et NTNU a pu participer en coulisses dans le cadre d'une étude publiée dans Information et organisation.

Tesla a produit plusieurs versions de son outil d'IA de pilotage automatique, qui s'est amélioré à chaque nouvelle version. L'outil est formé par ses utilisateurs. En d'autres termes, par les conducteurs qui utilisent la fonction de pilotage automatique.

Il est désormais clair que certains de ces conducteurs étaient des techno-optimistes très tolérants au risque.

Endormi au volant

Certains conducteurs d'essai ont eu tellement confiance dans la fonction de pilotage automatique qu'ils se sont endormis au volant. Cela a entraîné des accidents, dont deux mortels, car les conducteurs endormis n'ont pas pu intervenir pour neutraliser la fonction de pilotage automatique.

Dans un cas, une voiture a foncé droit sur un camion de pompiers garé sur la route.

Les recherches auxquelles NTNU a participé montrent que ces conducteurs, qui ont la plus grande confiance dans l'IA du pilote automatique, ne servent en fait qu'à mettre des bâtons dans les roues de Tesla.

En effet, lorsque les propriétaires de Tesla, qui ont une faible tolérance au risque, prennent connaissance des accidents, ils perdent confiance dans l’outil d’IA et n’utilisent jamais la fonction de pilotage automatique. Cela supprime à son tour d’importantes possibilités d’apprentissage pour l’outil d’IA.

Demandez d’abord à ceux qui sont réticents au risque

Les chercheurs estiment que de nombreuses autres entreprises qui souhaitent utiliser l’IA peuvent tirer des enseignements importants des résultats de cette recherche. Notamment dans le secteur de la santé.

La leçon la plus importante à tirer pour toutes les entreprises qui envisagent d’utiliser des outils d’IA est sans aucun doute que le rôle d’utilisateurs pilotes doit d’abord être proposé aux personnes prudentes et réticentes au risque.

De tels conseils sont en opposition directe avec ce qui est habituellement pratiqué lorsqu’il s’agit de tester de nouveaux systèmes numériques.

La raison en est bien sûr que lors du recrutement d’utilisateurs pilotes (individuels ou équipes), que ce soit en lien avec l’IA ou autre, ce sont toujours les plus tolérants au risque qui lèvent la main. En d’autres termes, ceux qui sont les plus positifs et optimistes à l’égard des nouvelles technologies.

Ces personnes sont généralement prêtes à prendre des risques lors du processus de test. C'est précisément pour cette raison qu'elles sont préférées dans le rôle d'utilisateurs pilotes.

Même tendance chez les médecins

Aujourd'hui, au SINTEF et au NTNU, les chercheurs étudient les médecins et les ingénieurs qui se font les dents sur les modèles d'apprentissage automatique. Et ils constatent les mêmes tendances que celles enregistrées dans l'étude Tesla.

Les utilisateurs réticents au risque ont tendance à s’éloigner de l’IA lorsqu’ils rencontrent des exemples d’outils qui commettent des erreurs. Leur scepticisme initial se confirme et ils perdent la motivation de réessayer.

L’une des raisons principales pour lesquelles il est si facile de « suivre l’exemple » des sceptiques est probablement que les gens ont en général une forte aversion pour les choses qu’ils ne peuvent pas expliquer ou qu’ils ne comprennent pas.

Les « boîtes noires » nous rendent nerveux

Le problème avec l’IA dite sous-symbolique (des algorithmes qui reconnaissent tout, des formes aux motifs complexes, à l’aide d’un processus appelé classification) est qu’elle est perçue comme une « boîte noire ».

C'est précisément ce que l'on appelle la recherche sur l'IA explicable, menée par des chercheurs comme Inga Strümke à la NTNU. Les résultats de ces travaux montrent que lorsqu'un événement imprévu se produit, les gens ont besoin d'une explication.

Nous acceptons que les gens en général, y compris les médecins, commettent des erreurs. En effet, nous pouvons comprendre la raison de ce qui s'est passé. Cependant, nous ne savons pas comment un outil d'IA subsymbolique est parvenu à sa classification. Cela nous rend nerveux et peu sûrs de nous.

L'IA peut offrir une aide clé dans le secteur de la santé

C’est probablement une raison importante pour laquelle, lorsque des personnes « tolérantes au risque » commettent des erreurs fatales sur la base de conseils mal fondés basés sur l’IA, toute confiance prudemment établie par d’autres peut être démolie en quelques minutes.

Nous pensons que la société doit s’emparer de ce problème. Notamment en raison des idées publiées par la médecin Ishita Barua dans son récent livre « Kunstig intelligens redder liv » (L’intelligence artificielle sauve des vies, en norvégien). Barua est également titulaire d’un doctorat en utilisation de l’IA en médecine. Elle soutient que le secteur de la santé doit franchir le pas et utiliser des modèles d’apprentissage automatique en raison de l’énorme potentiel qu’ils offrent.

Alors que peut faire le secteur de la santé pour éviter de tomber dans le « piège Tesla » ?

Données clés des personnes réticentes au risque

Pour tester les modèles d’IA, demandez à des médecins moins tolérants au risque de tester l’outil, d’observer, d’apprendre et de diffuser leur expérience sans, du moins dans un premier temps, utiliser les conseils basés sur l’IA dans le traitement de leurs patients.

Cette approche a le potentiel d’offrir aux modèles des données d’entraînement plus fiables et de meilleure qualité. L’étude de Tesla nous explique pourquoi. Lorsque l’IA du pilote automatique de la voiture faisait quelque chose d’étrange, les conducteurs « prudents » prenaient le volant et corrigeaient l’erreur. Cela a fourni au modèle un précieux apprentissage automatique, permettant à l’outil d’IA d’ajuster son style de conduite.

Dans les versions plus récentes du pilote automatique Tesla, l’outil d’IA s’est montré bien plus performant dans des situations similaires à celles dans lesquelles il avait été corrigé précédemment.

Mais la société risque de perdre de tels bénéfices si les utilisateurs « prudents » de l’IA sont effrayés par les erreurs commises par les techno-optimistes.