Lorsque les enjeux sont élevés, les modèles d'apprentissage automatique prennent-ils des décisions équitables?

L'apprentissage automatique fait partie intégrante de la prise de décision à enjeux élevés dans une large bande d'interactions humaines-ordinateur. Vous postulez pour un emploi. Vous soumettez une demande de prêt. Les algorithmes déterminent qui progresse et qui est refusé.

Les informaticiens de l'Université de Californie San Diego et de l'Université du Wisconsin – Madison contestent la pratique courante d'utiliser un modèle d'apprentissage automatique (ML) pour prendre de telles décisions critiques. Ils ont demandé comment les gens ressentaient lorsque des modèles ML « tout aussi bons » parviennent à des conclusions différentes.

Le professeur agrégé Loris D'Antoni au Département de l'informatique et de l'ingénierie de la Jacobs School of Engineering a mené la recherche qui a été présentée récemment lors de la Conférence sur les facteurs humains dans les systèmes informatiques (CHI 2025). L'article, «Les perceptions des impacts d'équité de la multiplicité dans l'apprentissage automatique», décrit le travail d'Antoni a commencé avec ses collègues chercheurs pendant son mandat à l'Université du Wisconsin et se poursuit aujourd'hui à l'UC San Diego. Il est disponible sur le arxiv serveur de préimprimée.

D'Antoni a travaillé avec les membres de l'équipe pour s'appuyer sur des preuves existantes que des modèles distincts, comme leurs homologues humains, ont des résultats variables. En d'autres termes, un bon modèle pourrait rejeter une demande tandis qu'un autre l'approuve. Naturellement, cela mène à des questions sur la façon dont les décisions objectives peuvent être prises.

« Les chercheurs de la ML postulent que les pratiques actuelles représentent un risque d'équité. Nos recherches ont approfondi ce problème. Nous avons demandé aux parties prenantes profanes ou aux personnes ordinaires, comment ils pensent que les décisions devraient être prises lorsque plusieurs modèles très précis donnent des prédictions différentes pour une contribution donnée », a déclaré D'Antoni.

L'étude a révélé quelques résultats importants. Premièrement, les parties prenantes ont reculé à la pratique standard de s'appuyer sur un seul modèle, en particulier lorsque plusieurs modèles n'étaient pas d'accord. Deuxièmement, les participants ont rejeté l'idée que les décisions devraient être randomisées dans de tels cas.

« Nous trouvons ces résultats intéressants car ces préférences contrastent avec la pratique standard dans le développement des ML et la recherche en philosophie sur les pratiques équitables », a déclaré le premier auteur et Ph.D. L'étudiante Anna Meyer, qui a été conseillé par D'Antoni à l'Université du Wisconsin et commencera en tant que professeur adjoint au Carlton College à l'automne.

L'équipe espère que ces idées guideront le développement et la politique des modèles futurs. Les recommandations clés incluent l'élargissement des recherches sur une gamme de modèles et la mise en œuvre de la prise de décision humaine pour juger des désaccords, en particulier dans les paramètres à enjeux élevés.

Les autres membres de l'équipe de recherche incluent AWS Albarghouthi, professeur agrégé en informatique à l'Université du Wisconsin, et Yea-Seul Kim d'Apple.