Un livre avertit que les algorithmes peuvent générer de la haine et de la discrimination

Dans un monde de plus en plus numérique, la technologie favorisera des inégalités sociales historiques à moins que le système ne soit remis en question et modifié, prévient une nouvelle publication du professeur Yasmin Ibrahim de la Queen Mary’s School of Business and Management.

Le dernier livre du professeur Ibrahim s’appuie sur des recherches allant de l’informatique à la sociologie et aux études critiques sur les races, dans une démonstration révolutionnaire de la façon dont les plateformes numériques et les algorithmes peuvent façonner les attitudes et les comportements sociaux.

« Digital Racial: Algorithmic Violence and Digital Platforms » explore comment les algorithmes peuvent cibler et profiler les personnes en fonction de leur race, ainsi que comment les technologies numériques permettent le discours de haine et le sectarisme en ligne. Le livre détaille également comment les algorithmes ne sont plus exclusivement utilisés pour les plateformes numériques, telles que les médias sociaux et les achats en ligne ; ils jouent un rôle caché mais croissant dans des services publics vitaux comme la santé et l’aide sociale, la protection sociale, l’éducation et la banque.

Il existe d’innombrables exemples des dangers que les technologies numériques peuvent poser – des scandales tristement célèbres comme l’utilisation abusive des données de Cambridge Analytica et les préjugés raciaux dans l’algorithme d’évaluation des risques des tribunaux américains, aux problèmes émergents comme les voitures autonomes étant plus susceptibles de heurter les piétons à la peau plus foncée et assistants virtuels ne comprenant pas les divers accents.

Le professeur Ibrahim met en lumière des exemples concrets de la façon dont les plateformes numériques peuvent révéler et renforcer des inégalités profondes, comme l’algorithme de Facebook contribuant au génocide des Rohingyas, au cours duquel environ 25 000 personnes ont été tuées et 700 000 autres déplacées. Amnesty International a constaté que « les systèmes algorithmiques de Facebook amplifiaient la diffusion de contenus anti-Rohingya nuisibles » et la plate-forme n’a pas réussi à supprimer les messages dangereux parce qu’elle profitait de l’engagement accru.

Plus récemment et plus près de chez nous, « The A—Level Fiasco and U-turn by the UK Government » (2020) a vu un algorithme créé par le régulateur des examens Ofqual déclasser les élèves des écoles publiques et améliorer ceux des écoles indépendantes financées par le secteur privé, désavantageant les jeunes issus de milieux socio-économiques défavorisés.

De même, le Premier ministre néerlandais Mark Rutte et l’ensemble de son cabinet ont démissionné en 2021, lorsque des enquêtes ont révélé que 26 000 familles innocentes étaient accusées à tort de fraude aux prestations sociales en partie à cause d’un algorithme discriminatoire. Cela a conduit à des dizaines de milliers de parents et de tuteurs accusés à tort de fraude aux allocations de garde d’enfants par les autorités fiscales néerlandaises, souvent des personnes à faible revenu ou appartenant à des minorités ethniques.

Abordant ses récents travaux dans « Technologies of Trauma », le nouveau livre du professeur Ibrahim soulève la question de la meilleure façon de modérer les plateformes numériques. Étant donné que les algorithmes manquent de l’humanité nécessaire pour juger de ce qui peut être nocif pour les gens, cette tâche incombe souvent aux travailleurs mal rémunérés aux contrats instables, obligés de regarder de grandes quantités de contenu traumatisant. Le professeur Ibrahim soutient que la modération de contenu doit être traitée comme une entreprise dangereuse, avec une réglementation pour les employeurs et un soutien pour les employés.

Commentant la publication de « Digital Racial », le professeur Ibrahim a déclaré : « Les technologies numériques ont le potentiel d’apporter des changements sociaux positifs, mais elles comportent également le risque de propager et d’intensifier les inégalités existantes. Je suis ravi de pouvoir enfin partager ce livre avec le monde, ce qui, je l’espère, lancera une conversation critique sur le rôle des plateformes numériques et les implications qu’elles peuvent avoir sur l’égalité.

« Avec l’essor de la technologie et son rôle croissant dans nos vies, il est plus important que jamais de veiller à ce que les espaces numériques ne reproduisent pas les inégalités raciales dans notre société. Nous devons lutter contre l’inégalité algorithmique pour endiguer la discrimination, la haine et la violence et faire pression pour plus l’inclusion et la représentation dans nos plateformes numériques. »