Un outil d’IA vise à améliorer la précision de la prise de décision des experts
Il y a des années, alors qu’elle était assise dans les salles d’attente, Maytal Saar-Tsechansky a commencé à se demander comment les gens choisissaient un bon médecin alors qu’ils n’avaient aucun moyen de connaître les antécédents d’un médecin en matière de diagnostics précis. En discutant avec d’autres patients, elle a découvert qu’ils fondaient parfois leurs choix sur la personnalité du médecin ou même sur la qualité du mobilier de son bureau.
« J’ai réalisé que tous ces signaux que les gens utilisent ne sont tout simplement pas les bons », déclare Saar-Tsechansky, professeur de gestion de l’information, des risques et des opérations à Texas McCombs. « Nous évoluions dans l’obscurité totale, comme s’il n’y avait aucune transparence sur ces choses-là. »
Dans le cadre de nouvelles recherches, elle utilise l’intelligence artificielle pour juger les juges : pour évaluer la vitesse à laquelle les experts prennent des décisions réussies. Son algorithme d’apprentissage automatique peut évaluer à la fois des médecins et d’autres types d’experts, tels que des ingénieurs qui diagnostiquent des problèmes mécaniques, lorsque leurs taux de réussite ne sont pas accessibles au public ou ne sont pas examinés au-delà de petits groupes de pairs.
« Un cadre d’apprentissage automatique pour évaluer la qualité des décisions des experts » est publié dans Sciences de gestion.
Des recherches antérieures ont étudié la précision des diagnostics des médecins, mais pas de manière à pouvoir être étendue ou surveillée de manière continue, explique Saar-Tsechansky.
Des méthodes plus efficaces sont essentielles aujourd’hui, ajoute-t-elle, alors que les systèmes médicaux déploient l’IA pour faciliter les diagnostics. Il sera difficile de déterminer si l’IA aide ou nuit aux diagnostics réussis si les observateurs ne peuvent pas dire dans quelle mesure un médecin a réussi sans l’aide de l’IA.
Évaluation des experts
Avec Wanxue Dong, doctorant de McCombs, et Tomer Geva de l’Université de Tel Aviv en Israël, Saar-Tsechansky a créé un algorithme qu’ils appellent MDE-HYB. Il intègre deux formes d’informations : des données globales sur la qualité des décisions passées d’un expert et des évaluations plus détaillées de cas spécifiques.
Ils ont ensuite comparé les résultats de MDE-HYB avec d’autres types d’évaluateurs : trois algorithmes alternatifs et 40 évaluateurs humains. Pour tester la flexibilité des notations du MDE-HYB, trois types de données très différents ont été analysés : les contrôles de taxe de vente, le spam et les critiques de films en ligne sur IMDb.
Dans chaque cas, les évaluateurs ont jugé les décisions antérieures prises par les experts concernant les données : par exemple, s’ils classaient avec précision les critiques de films comme positives ou négatives. Dans les trois sets, MDE-HYB a égalé ou battu tous les challengers.
- Par rapport à d’autres algorithmes, ses taux d’erreur étaient jusqu’à 95 % inférieurs.
- Contre les humains, ils étaient jusqu’à 72 % inférieurs.
Les chercheurs ont également testé MDE-HYB sur la préoccupation initiale de Sarre-Tsechansky : sélectionner un médecin sur la base de ses antécédents de diagnostics corrects. Par rapport aux médecins choisis par un autre algorithme, MDE-HYB a réduit le taux moyen d’erreurs de diagnostic de 41 %.
Dans le monde réel, une telle différence pourrait se traduire par de meilleurs résultats pour les patients et une réduction des coûts, dit-elle.
Elle prévient que le MDE-HYB nécessite davantage de travail avant de le mettre à des fins aussi pratiques. « L’objectif principal de cet article était de diffuser cette idée, d’amener les gens à y réfléchir, et j’espère que les gens amélioreront cette méthode », dit-elle.
Mais elle espère que cela pourra un jour aider les gestionnaires et les régulateurs à contrôler l’exactitude des travailleurs experts et à décider quand intervenir, si des améliorations sont nécessaires. Cela pourrait également aider les consommateurs à choisir des prestataires de services tels que des médecins.
« Dans chaque profession où des personnes prennent ce type de décisions, il serait utile d’évaluer la qualité de la prise de décision », explique Saar-Tsechansky. « Je ne pense pas qu’aucun d’entre nous ne devrait être tiré d’affaire, surtout si nous prenons des décisions conséquentes. »
