Une machine peut-elle être raciste ? L’IA a montré des signes troublants de partialité, mais il y a des raisons d’être optimiste

Un jour à la mi-2013, quatre personnes, dont deux policiers et un travailleur social, sont arrivées à l’improviste au domicile d’un habitant de Chicago. Robert McDaniel.

McDaniel n’avait jamais eu que des démêlés mineurs avec la loi – jeu de rue, possession de marijuana, rien de même violent à distance. Mais ses visiteurs l’ont informé qu’un programme informatique avait déterminé que la personne vivant à son adresse était exceptionnellement susceptible d’être impliquée dans une future fusillade.

Peut-être en serait-il l’agresseur, peut-être la victime. L’ordinateur n’était pas sûr. Mais en raison de ce qu’on appelle la « police prédictive », le travailleur social et la police lui rendaient visite régulièrement.

McDaniel n’était enthousiasmé par aucune des deux perspectives, mais l’ordinateur avait pris sa décision, il s’agissait donc d’offres qu’il ne pouvait pas refuser.

Le travailleur social revenait fréquemment avec des renvois vers des programmes de santé mentale, des programmes de prévention de la violence, des programmes de formation professionnelle, etc. La police revenait aussi fréquemment – ​​pour lui rappeler qu’il était surveillé.

L’attention officielle n’est pas passée inaperçue dans le quartier de McDaniel. Des rumeurs se sont répandues selon lesquelles il était un informateur de la police. En 2017, ces rumeurs l’ont conduit à se faire tirer dessus. En 2020, c’est encore arrivé.

Ainsi, dans un sens bizarre, on pourrait dire que la prédiction de l’ordinateur a causé la tragédie qu’il prétendait prédire. En effet, on pourrait dire qu’il l’a causé deux fois.

Machines racistes ?

Nous n’aurions pas tort d’interpréter l’histoire de McDaniel comme un cauchemar kafkaïen sur un homme pris dans une machine bureaucratique inexorable, ou une parabole faustienne sur ce qui se passe lorsque la technologie échappe aux limites du contrôle humain.

Mais selon le professeur de journalisme de données et informaticien accompli Meredith Broussardc’est aussi, et peut-être plus important encore, une histoire de racisme.

Car lorsque la police est arrivée à sa porte en 2013, Robert McDaniel n’était pas n’importe quel homme. C’était un jeune homme noir vivant dans un quartier façonné par une histoire honteuse de redlining raciste. Le quartier était, par conséquent, le foyer d’un niveau disproportionné de violence criminelle et de surveillance policière. McDaniel était donc tout sauf destiné à devenir la cible du type de police prédictive axée sur la technologie qui l’a conduit à se faire tirer dessus.

Et, soutient Broussard, ce qui est arrivé à Robert McDaniel n’est qu’un exemple des nombreuses façons dont l’IA augmente et exacerbe les inégalités qui caractérisent la vie sociale moderne.

Ne craignez pas que les machines se lèvent, prennent le pouvoir et créent un monde complètement nouveau, soutient Broussard. Inquiétez-vous qu’ils reproduisent et renforcent en silence le monde qui existe déjà.

Technochauvinisme

À première vue, l’idée qu’une machine puisse être raciste, sexiste, capacitiste ou biaisée de quelque manière que ce soit semble un peu étrange.

La science, la technologie et surtout les mathématiques nous sont présentées comme les étalons-or de la neutralité. Ils ne jugent pas. Ils calculent. Et le calcul est par définition au-dessus du monde désordonné du sectarisme et de l’intolérance, de la haine et de la division.

Pour Broussard, cette ligne de pensée est une tromperie commode. Son but est de masquer une façon de penser de plus en plus envahissante que Broussard appelle « technochauvinisme ». Le technochauvinisme, explique-t-elle, « est une sorte de préjugé qui considère que les solutions informatiques sont supérieures à toutes les autres solutions. Dans ce préjugé se trouve une hypothèse a priori selon laquelle les ordinateurs sont meilleurs que les humains ».

Plus précisément, l’hypothèse est « que les gens qui fabriquent et programment les ordinateurs sont meilleurs que les autres humains ».

Les mathématiques en elles-mêmes pourraient être neutres. Mais dès qu’il est utilisé à quelque usage que ce soit, il devient le véhicule des valeurs humaines, des préjugés humains et des fragilités humaines.

Études critiques sur l’IA

Plus qu’un bug contribue à un domaine d’érudition et d’activisme en pleine expansion qui a été diversement surnommé Études d’algorithmes critiques, Études de données critiqueset Études critiques sur l’IA.

Ici, nous pourrions inclure des œuvres importantes comme Safiya Umoja Noble Algorithmes d’oppression (2018), qui montre comment des outils de tri d’informations apparemment impartiaux perpétuent le racisme systématique, Soshana Zuboff L’ère du capitalisme de surveillance (2018), qui soutient que les mégadonnées transforment l’expérience humaine elle-même en un surplus que le capitalisme moderne peut extraire sous forme de profit, et l’analyse de Kate Crawford Atlas de l’IA (2021), qui suggère d’aborder l’IA non pas comme un ensemble de programmes informatiques, mais comme une écologie intégrée des relations matérielles entre les humains et le monde.

Il y a même un documentaire populaire appelé Biais codé (2020), réalisé par Shalini Kantayya et mettant en vedette, entre autres, Broussard elle-même.

Au milieu de cette impressionnante compagnie, le livre de Broussard se distingue par au moins deux éléments : sa portée extraordinairement vaste d’une part, et son approche sans fioritures du problème et de ses solutions d’autre part.

Cuit en biais

L’étendue de l’approche de Broussard est perceptible dans sa thèse, qu’elle énonce directement au début : « Les préjugés intégrés à la technologie sont plus que de simples problèmes ; ils sont intégrés depuis le début. »

Au moins une partie de la raison de ce biais « intégré » peut être trouvée dans la démographie de ceux qui travaillent dans le domaine. Le rapport annuel 2019 de Google, par exemple, a montré que seulement 3 % des employés du géant de la technologie sont noirs, une lacune courante dans l’industrie.

Plus personnellement, Broussard note qu’en tant qu’étudiante de premier cycle à Harvard, elle était l’une des six femmes à se spécialiser en informatique et la seule femme noire.

Il y a eu beaucoup de discours bien intentionnés autour de la nécessité de rendre la technologie « plus éthique » ou « plus juste », mais Broussard soutient qu’un véritable changement nécessitera un « audit » beaucoup plus systématique conçu pour déterminer « en quoi elle est raciste, sexiste, ou capacitiste :

« Nous ne devrions pas céder le contrôle des fonctions civiques essentielles à ces systèmes technologiques, ni prétendre qu’ils sont » meilleurs « ou » plus innovants « jusqu’à ce que ces systèmes techniques fonctionnent pour chaque personne, indépendamment de la couleur de la peau, de la classe, de l’âge, du sexe, et la capacité. »

Broussard poursuit en expliquant les principes essentiels de l’IA et de l’apprentissage automatique, ainsi que les mathématiques sur lesquelles ils reposent. Elle n’est en aucun cas une technophobe; elle a clairement une connaissance et un respect énormes de la science en question. Mais elle insiste également sur le fait que la science ne peut pas être purement mathématique. Il s’appuie également sur le « storytelling ».

Pour Broussard, « nous comprenons le quantitatif à travers le qualitatif ». Les nombres purs privilégieront toujours l’ordre établi. Et ils subordonneront toujours ou passeront entièrement à côté de ce que Broussard appelle les « cas limites ».

Mais ce sont les cas extrêmes, ou ces cas que les statistiques et la probabilité ne peuvent s’empêcher de repousser vers les marges, qui représentent le potentiel à la fois d’oppression et de changement.

Algorithmes du quotidien

Ce qui suit est un catalogue d’exemples de technologies d’IA qui ne tiennent pas compte de la diversité humaine et reproduisent les inégalités sociales.

Les technologies de reconnaissance faciale et d’identification biométrique, par exemple, se sont révélées à plusieurs reprises incompétentes lorsqu’il s’agit de traiter avec des personnes autres que des personnes blanches et cisgenres.

Ici, l’imagerie numérique s’intègre parfaitement dans un longue histoire de technologie photographique et cinématographique discriminatoire conçu par et pour une petite fraction d’humains. Le résultat n’est pas seulement un manque de représentation. Les effets sont concrets et très destructeurs, en particulier lorsque les technologies en question sont placées entre les mains des forces de l’ordre.

Mais si nous nous concentrons exclusivement sur les utilisations (et les échecs) les plus sensationnelles de l’IA, nous manquerons à quel point elle a infiltré presque tous les aspects de notre vie quotidienne, y compris le marketing et la politique, bien sûr, mais aussi l’éducation, la médecine, l’emploi , l’économie, les transports et plus ou moins tout ce que nous faisons avec nos téléphones portables, ce qui signifie plus ou moins tout ce que nous faisons, point final.

Pour explorer l’utilisation quotidienne de l’IA, Broussard tisse des histoires, des anecdotes et des vignettes tirées à la fois de ses recherches et de son expérience personnelle.

À travers ces histoires, elle montre comment l’IA est actuellement utilisée pour, entre autres, attribuer aux élèves des notes imaginaires – ou des notes basées non pas sur leurs réalisations, mais sur ce qu’un algorithme formé statistiquement prédit qu’ils obtiendront. Il est également utilisé pour déterminer quels candidats à un emploi se verront accorder un entretien et effectuer des diagnostics médicaux qui présupposent des conceptions archaïques de la race, du sexe et des capacités.

Peu importe ce que nous faisons dans le monde moderne, semble-t-il, il y a presque toujours un algorithme qui tourne en arrière-plan, générant des résultats qui déterminent fortement nos actions et nos décisions. Et il le fait presque toujours au détriment de groupes déjà défavorisés.

Réformer l’IA

Cela nous amène à l’approche pragmatique de Broussard et à son optimisme quant à la possibilité de changer les systèmes qu’elle décrit.

Il est indéniablement difficile de ne pas être submergé par le cours apparemment imparable du développement technologique dans le monde contemporain, en particulier autour de l’IA et de tout ce qu’elle semble sur le point de réinventer. Mais le cynisme peut aussi être une cachette de privilèges, et ceux qui disent avec désespoir que rien ne peut être fait sont souvent ceux qui profitent le plus de ce que rien n’est fait.

Dans cet esprit, Broussard tient à faire la distinction entre « imaginaire » ou « IA générale » et « réelle » ou « IA étroite ».

Le premier est « l’IA qui va conquérir le monde, la soi-disant singularité où les robots deviennent incontrôlables et irréversibles – des robots tueurs – et ainsi de suite ». Ceci, dit-elle, n’est pas réel. « La vraie IA, que nous avons et que nous utilisons tous les jours », n’est rien de plus que des « mathématiques ».

L’IA, en d’autres termes, n’est pas magique. C’est une machine sophistiquée de détection de motifs. Et bien qu’il puisse être capable de détecter « des modèles que les humains ne peuvent pas facilement voir », et donc de fonctionner comme une sorte de « boîte noire », cela ne signifie pas qu’il est « impossible décrire. »

Pour la même raison, Broussard est convaincu que les humains peuvent et doivent traiter l’IA comme un outil. En fin de compte, pense-t-elle, ce n’est rien de plus qu’un reflet de ceux qui l’utilisent. S’il est biaisé, c’est uniquement parce qu’il est le produit d’une société biaisée. Et cela changera précisément dans la mesure où la société changera.

La technologie, conclut Broussard, « est raciste, sexiste et capacitiste parce que le monde l’est. Les ordinateurs ne font que refléter la réalité existante et suggèrent que les choses resteront les mêmes – ils prédisent le statu quo. En adoptant une vision plus critique de la technologie et en étant plus sélectifs quant à la technologie que nous autorisons dans nos vies et notre société, nous pouvons utiliser la technologie pour arrêter de reproduire le monde tel qu’il est et nous rapprocher d’un monde qui est vraiment plus juste. »

Une question

C’est le seul endroit où je serais enclin à poser une question. Car si l’agenda politique de Broussard est irréprochable, son approche de la technologie semble plutôt humaniste et instrumentale.

Depuis très longtemps maintenant, les spécialistes des sciences et de la technologie…Donna Haraway, Frédéric Kittler et Bruno Latourpour n’en citer que quelques-uns, ont suggéré que, même si nous fabriquons et utilisons des technologies, les technologies nous fabriquent et nous utilisent également.

La question de savoir comment les humains mettront l’IA sous notre contrôle, ou comment nous la guiderons vers nos fins éthiques et politiques, est tout à fait distincte de la question de savoir comment la même technologie transformera ce que signifie être humain et comment nous vivons en relation les uns aux autres et à nos mondes.

Aucune ligne de recherche ne devrait être considérée comme supérieure. Mais il est difficile d’imaginer poursuivre l’un très loin sans au moins rencontrer l’autre. Une conversation plus riche entre l’approche représentée par Broussard et l’approche représentée par ceux d’entre nous dans la tradition de personnages comme Harraway, Kittler et Latour, semblerait être de mise.