Pourquoi la discrimination reste un problème non résolu

Une étude récente du DHBW Stuttgart au Service Management Study Center (ZMM) étudie la capacité de l’intelligence artificielle (IA) à reconnaître les contenus discriminatoires dans les images et les publicités, montrant à la fois des progrès impressionnants et les limites existantes.

Dans cette étude approfondie, l’IA a été confrontée à diverses images et publicités et invitée à les évaluer. Il s’agissait notamment de 60 publicités récemment critiquées par le Conseil allemand de la publicité. Les résultats montrent que l’IA a une capacité étonnante à identifier les discriminations dans les publicités avec une précision impressionnante (score F1 : 0,949). En conséquence, l’IA a généralement estimé que les publicités critiquées par le Conseil allemand de la publicité étaient potentiellement discriminatoires. Dans le même temps, dans la plupart des cas, les publicités non discriminatoires n’ont pas reçu un tel avertissement.

Ceci est particulièrement impressionnant si l’on considère qu’il y a à peine 10 ans, l’IA éprouvait de grandes difficultés à classer correctement les objets représentés dans une image. Entre-temps, et grâce à des millions d’images, l’IA a appris à distinguer avec une grande précision un chien d’un chat. Les progrès rapides de l’IA soulèvent la question de savoir où se situent ses limites actuelles. « Nous voulions savoir dans quelle mesure l’IA reconnaît un comportement discriminatoire lorsqu’on lui présente uniquement une publicité et qu’on lui demande de l’évaluer », explique l’étudiante Helen Beckers à propos de l’approche de l’étude.

Ceci est particulièrement pertinent à la lumière de l’augmentation massive de la discrimination par les algorithmes qui peuvent désavantager les personnes en fonction de leur sexe, de leur religion, de leur idéologie, de leur racisme ou de leur origine. Cet aspect devient de plus en plus important car la discrimination par les algorithmes devient de plus en plus un problème sérieux qui touche divers domaines tels que les processus de demande, l’attribution de crédits, la médecine et le calcul de la probabilité de récidive des délinquants.

L’idée selon laquelle ChatGPT peut détecter la sexualisation et les pensées stéréotypées est particulièrement révélatrice. Une publicité modifiée avec des rôles de genre inversés a montré que l’IA peut également identifier la discrimination dans des situations inversées. « Cette évaluation différente par ChatGPT dans les deux scénarios met en évidence la capacité d’identifier la discrimination même dans des situations inversées », explique l’étudiant Sven Peter, partageant une autre conclusion de l’étude.

Cependant, l’IA a atteint ses limites en identifiant d’autres formes de discrimination, telles que l’objectivation, le manque de respect et l’abus de pouvoir. « Les résultats de l’étude soulignent la nécessité de développer davantage les systèmes d’IA pour reconnaître plus efficacement la discrimination et la prévenir », rapporte l’étudiant Marius Funk. L’étude soulève des questions importantes sur la manière dont les technologies de l’IA peuvent être utilisées à l’avenir pour lutter contre la discrimination dans divers domaines et promouvoir l’égalité.

Fourni par Duale Hochschule Baden-Württemberg