Les chercheurs constatent un biais dans les logiciels de conduite autonome
RQ2.1 : MR moyen de huit détecteurs et tendances EOD sous différents niveaux de luminosité. Les trois chiffres ci-dessus indiquent que des niveaux de luminosité plus faibles entraînent une augmentation du taux d’échec moyen pour chaque attribut. Dans les trois figures ci-dessous, un biais explicite est observé dans YOLOX et RetinaNet pour le groupe à peau foncée à mesure que le niveau de luminosité diminue. De plus, il existe une EOD croissante aux niveaux de luminosité 2 et 1, ce qui désavantage les femelles en les rendant plus susceptibles de ne pas être détectées. Crédit: arXiv (2023). DOI : 10.48550/arxiv.2308.02935
Les logiciels de véhicules autonomes utilisés pour détecter les piétons ne sont pas en mesure d’identifier correctement les individus à la peau foncée aussi souvent que ceux à la peau claire, selon des chercheurs du King’s College de Londres et de l’Université de Pékin en Chine.
Un chercheur a testé huit détecteurs de piétons basés sur l’IA utilisés par les constructeurs de voitures autonomes. Ils ont constaté une disparité de précision de 7,5 % entre les sujets plus clairs et plus sombres.
Une autre découverte troublante a été la découverte selon laquelle la capacité de détecter les piétons à la peau plus foncée est encore diminuée par les conditions d’éclairage sur la route.
« La préférence envers les piétons à la peau foncée augmente considérablement dans des scénarios de faible contraste et de faible luminosité », a déclaré Jie M. Zhang, l’un des six chercheurs ayant participé à l’étude.
Les taux de détection incorrecte des piétons à la peau foncée sont passés de 7,14 % le jour à 9,86 % la nuit.
Les résultats ont également montré un taux de détection plus élevé chez les adultes que chez les enfants. Les adultes ont été correctement identifiés par le logiciel dans un taux 20 % plus élevé que les enfants.
« L’équité en matière d’IA, c’est lorsqu’un système d’IA traite de la même manière les groupes privilégiés et défavorisés, ce qui n’est pas le cas lorsqu’il s’agit de véhicules autonomes », a déclaré Zhang.
Elle a noté que même si les sources des données de formation en IA des constructeurs automobiles restent confidentielles, on peut supposer sans risque qu’elles reposent sur les mêmes systèmes open source que ceux utilisés par les chercheurs.
« Nous pouvons être sûrs qu’ils se heurtent aux mêmes problèmes de partialité », a déclaré Zhang.
Zhang a souligné que les préjugés, intentionnels ou non, constituent un problème de longue date. Mais lorsqu’il s’agit de reconnaître les piétons dans les voitures autonomes, les enjeux sont plus importants.
« Bien que l’impact des systèmes d’IA injustes ait déjà été bien documenté, depuis les logiciels de recrutement d’IA favorisant les candidats masculins jusqu’aux logiciels de reconnaissance faciale moins précis pour les femmes noires que pour les hommes blancs, le danger que peuvent représenter les voitures autonomes est aigu », a déclaré Zhang. dit.
« Auparavant, les membres des minorités se voyaient peut-être refuser des services vitaux. Aujourd’hui, ils risquent d’être gravement blessés. »
L’article intitulé « Les individus à la peau foncée courent davantage de risques dans la rue : démasquer les problèmes d’équité des systèmes de conduite autonomes » a été publié le 5 août sur le serveur de prépublication. arXiv.
Zhang a appelé à l’établissement de lignes directrices et de lois pour garantir que les données de l’IA soient mises en œuvre de manière impartiale.
« Les constructeurs automobiles et le gouvernement doivent s’unir pour élaborer une réglementation garantissant que la sécurité de ces systèmes peut être mesurée objectivement, notamment en matière d’équité », a déclaré Zhang. « Les dispositions actuelles en matière d’équité dans ces systèmes sont limitées, ce qui peut avoir un impact majeur non seulement sur les futurs systèmes, mais directement sur la sécurité des piétons.
« À mesure que l’IA s’intègre de plus en plus dans notre vie quotidienne, depuis les types de voitures que nous conduisons jusqu’à la manière dont nous interagissons avec les forces de l’ordre, cette question d’équité ne fera que gagner en importance », a déclaré Zhang.
Ces résultats font suite à de nombreux rapports faisant état de biais inhérents aux grands modèles de langage. Des incidents de stéréotypes, d’insensibilité culturelle et de fausses déclarations ont été observés depuis l’ouverture de ChatGPT au public à la fin de l’année dernière.
Le PDG d’OpenAI, Sam Altman, a reconnu les problèmes.
« Nous savons que ChatGPT présente des lacunes en matière de biais et nous travaillons à l’améliorer », a-t-il déclaré dans un article en février dernier.
