L'outil d'équité attrape un biais AI tôt
Les logiciels d'apprentissage automatique aident les agences à prendre des décisions importantes, telles que qui obtient un prêt bancaire ou dans quelles zones la police devrait patrouiller. Mais si ces systèmes ont des biais, même les petits, ils peuvent causer du mal. Un groupe spécifique de personnes pourrait être sous-représenté dans un ensemble de données de formation, par exemple, et comme le modèle d'apprentissage automatique (ML) apprend que le biais peut se multiplier et conduire à des résultats déloyaux, tels que des refus de prêt ou des scores de risque plus élevés dans les systèmes de gestion de prescription.
Des chercheurs de l'école d'informatique (SCS) de l'Université Carnegie Mellon ont créé Fairsense pour aider les développeurs à lutter contre l'injustice dans les systèmes ML avant que les dommages ne se produisent. Actuellement, la plupart des contrôles d'équité examinent un système à un moment précis, mais les modèles ML apprennent, s'adaptent et changent. FairSense simule ces systèmes dans leur environnement sur de longues périodes pour mesurer l'injustice.
« La clé est de réfléchir aux boucles de rétroaction », a déclaré Christian Kästner, professeur agrégé au département des logiciels et des systèmes sociétaux (S3D). « Vous pourriez avoir un minuscule biais dans le modèle, comme une petite discrimination contre un sexe ou une race. Lorsqu'il est déployé, le modèle produit un effet dans le monde réel. Il discrimine les personnes – ils obtiennent moins d'opportunités, moins d'argent ou se retrouvent plus souvent dans la prison.
« Donc, il pourrait être petit au début, mais parce qu'il a un effet dans le monde réel, puis le modèle en apprend à nouveau, cela pourrait devenir un cercle vicieux où le biais grandit. »
Dans «FAINSENSE: Analyse d'équité à long terme des systèmes compatibles ML», les chercheurs du SCS ont exploré comment l'équité change à mesure que ces systèmes ML sont utilisés au fil du temps. Ils se sont concentrés sur le test de ces systèmes dans un environnement dynamique plutôt que dans un état statique.
Pour utiliser FairSense, les développeurs fournissent des informations sur le système d'apprentissage automatique, un modèle de l'environnement dans lequel il sera utilisé et la métrique qui indique l'équité. Par exemple, dans une banque, le système pourrait être un logiciel qui prédit la solvabilité des candidats et prend des décisions sur les prêts. Le modèle environnemental comprend les informations pertinentes des antécédents de crédit du demandeur et la manière dont les scores de crédit pourraient être affectés, et la métrique d'équité pourrait être la parité entre les différents groupes de personnes approuvées pour les prêts.
Avec Kästner, l'équipe a inclus le Yining She de S3D, un doctorant, et Eunsuk Kang, professeur agrégé. Sumon Biswas de la Case Western Reserve University a également participé à la recherche, que l'équipe a présentée plus tôt cette année à la Conférence internationale sur le génie logiciel.
« Nous simulons comment l'équité pourrait changer sur une longue période après le déploiement du système », a-t-elle déclaré. « Si nous observons une augmentation de l'injustice au fil du temps, l'étape suivante consiste à identifier les facteurs fondamentaux affectant cette équité afin que le développeur puisse résoudre ces problèmes de manière proactive. »
Étant donné que les systèmes compatibles ML sont déployés dans des situations variées et complexes qui ne sont pas toujours prévisibles, FairSense peut capturer et simuler cette incertitude dans le modèle d'environnement. Dans les prêts, par exemple, les mises à jour des cotes de crédit et les nouveaux demandeurs de prêt sont incontrôlables et pourraient affecter la façon dont le système se comporte au fil du temps. La simulation de FairSense génère un large éventail de scénarios possibles basés sur ces variables et permet aux développeurs d'identifier des facteurs, tels que les seuils de cote de crédit ou d'autres paramètres, qui pourraient avoir l'impact le plus significatif sur les problèmes d'équité à long terme.
« Une grande partie du logiciel que nous construisons peut affecter négativement les gens », a déclaré Kang. «Les systèmes que nous construisons ont un impact sociétal. Les personnes qui construisent ces systèmes devraient réfléchir aux problèmes qui peuvent survenir au fil du temps, pas seulement pour le moment.
« Lorsque vous construisez et déployez le système, quelles mauvaises choses potentielles pourraient se produire sur la route? J'espère que la lecture d'articles comme celle-ci encouragera les développeurs de logiciels à réfléchir plus largement aux dommages potentiels causés par les systèmes qu'ils créent et résolvent de manière proactive ces types de problèmes avant d'être déployés dans le monde réel. »
Les chercheurs prévoient d'étendre le travail de FairSense pour surveiller en permanence l'équité des systèmes ML et développer un outil pour expliquer comment ces systèmes peuvent devenir injustes.
