Les outils d'IA montrent des biais dans le classement des noms des candidats en fonction de la race et du sexe perçus

Il semble que l’avenir du recrutement soit automatisé. Les candidats peuvent désormais utiliser des robots d’intelligence artificielle pour postuler par milliers à des offres d’emploi. Les entreprises, qui automatisent depuis longtemps certaines parties du processus, déploient désormais les derniers modèles de langage étendus d'IA pour rédiger des descriptions de poste, passer au crible les CV et sélectionner les candidats. On estime que 99 % des entreprises Fortune 500 utilisent désormais une forme d'automatisation dans leur processus de recrutement.

Cette automatisation peut accroître l’efficacité et certains prétendent qu’elle peut rendre le processus d’embauche moins discriminatoire. Mais une nouvelle recherche de l'Université de Washington a révélé d'importants préjugés raciaux, sexuels et intersectionnels dans la manière dont trois modèles de langage à grande échelle, ou LLM, de pointe, classent les CV. Les chercheurs ont varié les noms associés aux hommes et aux femmes blancs et noirs sur plus de 550 CV réels et ont découvert que les LLM favorisaient les noms associés aux blancs dans 85 % des cas, les noms associés aux femmes seulement 11 % du temps, et ne favorisaient jamais les hommes noirs. -noms associés sur noms blancs associés aux hommes.

L'équipe a présenté ses recherches le 22 octobre lors de la conférence AAAI/ACM sur l'intelligence artificielle, l'éthique et la société à San Jose.

« L'utilisation d'outils d'IA pour les procédures de recrutement est déjà répandue, et elle prolifère plus rapidement que nous ne pouvons la réglementer », a déclaré l'auteur principal Kyra Wilson, doctorante à l'UW Information School. « Actuellement, en dehors d'une loi de la ville de New York, il n'existe aucun audit réglementaire indépendant de ces systèmes, nous ne savons donc pas s'ils sont biaisés et discriminatoires sur la base de caractéristiques protégées telles que la race et le sexe. Et parce que beaucoup d'entre eux Les systèmes sont propriétaires, nous sommes limités à analyser leur fonctionnement en nous rapprochant des systèmes du monde réel.

Des études antérieures ont montré que ChatGPT présente des préjugés raciaux et liés au handicap lors de la reprise du tri. Mais ces études étaient relativement petites (utilisant un seul CV ou quatre offres d'emploi) et le modèle d'IA de ChatGPT est ce qu'on appelle une « boîte noire », limitant les options d'analyse.

L'équipe UW souhaitait étudier les LLM open source et le faire à grande échelle. Ils voulaient également étudier l’intersectionnalité entre les races et les sexes.

Les chercheurs ont varié 120 prénoms associés à des hommes et des femmes blancs et noirs dans les CV. Ils ont ensuite utilisé trois LLM de pointe de trois sociétés différentes (Mistral AI, Salesforce et Contextual AI) pour classer les CV des candidats à 500 offres d'emploi réelles. Ceux-ci étaient répartis dans neuf professions, dont agent des ressources humaines, ingénieur et enseignant. Cela représente plus de trois millions de comparaisons entre curriculum vitae et descriptions de poste.

L'équipe a ensuite évalué les recommandations du système dans ces quatre données démographiques pour en déterminer la signification statistique. Le système préféré :

• Noms associés aux blancs 85 % du temps contre noms associés aux noirs 9 % du temps ;
• Noms associés à un homme 52 % du temps contre noms associés à une femme 11 % du temps.

L’équipe a également examiné les identités intersectionnelles et a constaté que les modèles de préjugés ne sont pas simplement la somme des identités raciales et de genre. Par exemple, l’étude a montré la plus petite disparité entre les prénoms féminins typiquement blancs et les prénoms masculins typiquement blancs. Et les systèmes n’ont jamais préféré ce qui est perçu comme des prénoms masculins noirs aux prénoms masculins blancs. Pourtant, ils préféraient également les prénoms féminins typiquement noirs 67 % du temps contre 15 % du temps pour les prénoms masculins typiquement noirs.

« Nous avons découvert ce préjudice vraiment unique contre les hommes noirs, qui n'était pas nécessairement visible en considérant simplement la race ou le sexe de manière isolée », a déclaré Wilson. « L'intersectionnalité n'est actuellement un attribut protégé qu'en Californie, mais il est extrêmement important d'examiner les combinaisons multidimensionnelles d'identités pour garantir l'équité d'un système d'IA. Si ce n'est pas juste, nous devons le documenter afin de pouvoir l'améliorer. »

L’équipe note que les recherches futures devraient explorer les approches de réduction des préjugés et des méfaits qui peuvent aligner les systèmes d’IA sur les politiques. Il devrait également enquêter sur d’autres attributs protégés, tels que le handicap et l’âge, ainsi que s’intéresser davantage aux identités raciales et de genre, en mettant l’accent sur les identités intersectionnelles.

« Maintenant que les systèmes d'IA générative sont largement disponibles, presque tout le monde peut utiliser ces modèles pour des tâches critiques qui affectent leur propre vie et celle des autres, comme l'embauche », a déclaré l'auteur principal Aylin Caliskan, professeur adjoint à l'UW à l'iSchool.

« Les petites entreprises pourraient tenter d'utiliser ces systèmes pour rendre leurs processus de recrutement plus efficaces, par exemple, mais cela comporte de grands risques. Le public doit comprendre que ces systèmes sont biaisés. ce préjugé façonne considérablement nos perceptions de la race, du genre et de la société.