Une équipe de recherche travaille à améliorer les outils de prise de décision basés sur l'IA pour les services publics
De plus en plus de services publics, comme le logement abordable, l’adéquation des écoles publiques et la protection de l’enfance, s’appuient sur des algorithmes pour prendre des décisions et allouer des ressources. Jusqu'à présent, une grande partie du travail consacré à la conception de ces systèmes s'est concentrée sur les expériences des travailleurs qui les utilisent ou sur la perception qu'en ont les communautés.
Mais qu’en est-il de l’impact réel de ces programmes sur les gens, en particulier lorsque les décisions prises par les systèmes conduisent à un refus de services ? Pouvez-vous concevoir des algorithmes pour aider les gens à comprendre et à contester les décisions qui les affectent de manière significative ?
Naveena Karusala, boursière postdoctorale à la Harvard John A. Paulson School of Engineering and Applied Science (SEAS) ; Krzysztof Gajos, professeur Gordon McKay d'informatique à SEAS ; et une équipe de chercheurs repense la manière de concevoir des algorithmes pour les services publics.
« Au lieu de centrer uniquement le travailleur ou l'institution qui utilise l'outil pour prendre une décision, pouvons-nous centrer la personne affectée par cette décision afin d'œuvrer vers des institutions et des processus plus attentionnés ? » » demanda Karusala.
Dans un article présenté cette semaine lors de la conférence de l'Association of Computing Machinery sur les facteurs humains dans les systèmes informatiques (CHI), Karusala et ses collègues proposent des recommandations pour améliorer la conception d'outils de prise de décision algorithmiques afin de faciliter la tâche des personnes touchées par ces décisions. pour naviguer dans toutes les étapes du processus, surtout lorsqu'elles sont refusées.
La recherche est publiée dans la revue Actes de la conférence CHI sur les facteurs humains dans les systèmes informatiques.
Les chercheurs avaient pour objectif d'apprendre des domaines dans lesquels les algorithmes ne sont pas utilisés actuellement mais pourraient être déployés à l'avenir. Ils ont examiné spécifiquement les services publics pour la propriété foncière dans les zones rurales du sud de l'Inde et le logement abordable dans les zones urbaines du nord-est des États-Unis, ainsi que les processus de contestation après que les candidats se sont vu refuser ces services.
Les gouvernements aux États-Unis et en Inde, ainsi que dans le monde entier, reconnaissent le droit de contester un refus de services publics, et ce de plus en plus lorsqu'il est refusé par un algorithme. Mais les processus de contestation peuvent être complexes, longs et difficiles à gérer, en particulier pour les personnes issues des communautés marginalisées.
Les intermédiaires comme les travailleurs sociaux, les avocats et les ONG jouent un rôle important en aidant les gens à naviguer dans ces processus et à comprendre leurs droits et leurs options. En santé publique, ce concept est connu sous le nom d'« accompagnement », dans le cadre duquel des travailleurs humanitaires communautaires aident les personnes vivant dans des communautés défavorisées à naviguer ensemble dans des systèmes de soins de santé complexes.
« L'un des points à retenir de notre recherche est l'importance évidente des intermédiaires et de l'intégration de l'idée d'accompagnement dans la conception de l'algorithme », a déclaré Karusala. « Non seulement ces intermédiaires devraient être impliqués dans le processus de conception, mais ils devraient également être conscients du fonctionnement du processus de prise de décision, car ce sont eux qui relient les communautés et les services publics. »
Les chercheurs suggèrent que les systèmes de prise de décision algorithmiques devraient être conçus pour connecter de manière proactive les candidats à ces intermédiaires.
Aujourd'hui, de nombreux chercheurs en IA s'efforcent d'améliorer la capacité d'un algorithme à expliquer sa décision, mais cela n'est pas suffisamment utile aux personnes à qui le service a été refusé, a déclaré Karusala.
« Nos résultats indiquent qu'au lieu de se concentrer uniquement sur les explications, il faudrait se concentrer sur d'autres aspects de la conception des algorithmes qui peuvent empêcher les refus en premier lieu », a déclaré Karusala.
Par exemple, si une vérification des antécédents révèle des informations qui placent une personne à la frontière entre l'approbation et la désapprobation d'un logement, les algorithmes devraient être capables de demander des informations supplémentaires pour prendre une décision ou demander à un évaluateur humain d'intervenir.
« Il s'agit de moyens concrets permettant de partager le fardeau souvent imposé aux communautés marginalisées non seulement avec des intermédiaires, mais également avec des administrateurs de services publics et des outils algorithmiques », a déclaré Karusala.
« Cette recherche est particulièrement importante car elle remet en question une hypothèse profondément ancrée dans la communauté informatique selon laquelle le moyen le plus efficace de fournir aux gens des mécanismes de règlement des griefs est que les algorithmes fournissent des explications sur leurs décisions », a déclaré Gajos. « Au lieu de cela, cette recherche suggère que des algorithmes pourraient être utilisés tout au long du processus : depuis l'identification des personnes qui ne postulent peut-être pas par elles-mêmes et qui pourraient avoir besoin d'être encouragées à le faire, jusqu'à l'aide aux candidats à préparer et à contextualiser les informations pour rendre les candidatures pertinentes et informatives, jusqu'à naviguer dans les stratégies de contestation.
La recherche a été co-écrite par Sohini Upadhyay, Rajesh Veeraraghavan et Gajos.
