Les dommages causés par l’IA se produisent souvent en coulisses et s’accumulent au fil du temps : un juriste explique comment le droit peut s’adapter pour y répondre

Lorsque vous parcourez votre flux de médias sociaux ou que vous laissez votre application musicale préférée créer la liste de lecture parfaite, vous aurez peut-être l'impression que l'intelligence artificielle améliore votre vie en apprenant vos préférences et en répondant à vos besoins. Mais derrière cette façade commode se cache une préoccupation croissante : les préjudices algorithmiques.

Ces préjudices ne sont ni évidents ni immédiats. Ils sont insidieux et se développent au fil du temps, à mesure que les systèmes d’IA prennent discrètement des décisions concernant votre vie sans même que vous le sachiez. Le pouvoir caché de ces systèmes devient une menace importante pour la vie privée, l’égalité, l’autonomie et la sécurité.

Les systèmes d’IA sont intégrés dans presque toutes les facettes de la vie moderne. Ils suggèrent les émissions et les films que vous devriez regarder, aident les employeurs à décider qui ils souhaitent embaucher et influencent même les juges pour décider qui est admissible à une peine. Mais que se passe-t-il lorsque ces systèmes, souvent considérés comme neutres, commencent à prendre des décisions qui désavantagent certains groupes ou, pire encore, causent des dommages réels ?

Les conséquences souvent négligées des applications de l’IA nécessitent des cadres réglementaires capables de suivre le rythme de cette technologie en évolution rapide. J'étudie l'intersection du droit et de la technologie et j'ai défini un cadre juridique pour y parvenir.

Brûlures lentes

L’un des aspects les plus frappants des préjudices algorithmiques est que leur impact cumulatif passe souvent inaperçu. Ces systèmes n’attaquent généralement pas directement votre vie privée ou votre autonomie d’une manière que vous pouvez facilement percevoir. Ils rassemblent de grandes quantités de données sur les gens – souvent à leur insu – et utilisent ces données pour façonner les décisions qui affectent la vie des gens.

Parfois, cela entraîne des désagréments mineurs, comme une publicité qui vous suit sur des sites Web. Mais comme l’IA fonctionne sans remédier à ces préjudices répétitifs, ils peuvent s’étendre, entraînant des dommages cumulatifs importants sur divers groupes de personnes.

Prenons l'exemple des algorithmes des médias sociaux. Ils sont apparemment conçus pour promouvoir des interactions sociales bénéfiques. Cependant, derrière leur façade apparemment bénéfique, ils suivent silencieusement les clics des utilisateurs et compilent des profils de leurs convictions politiques, de leurs affiliations professionnelles et de leur vie personnelle. Les données collectées sont utilisées dans des systèmes qui prennent des décisions conséquentes : que vous soyez identifié comme piéton piéton, considéré pour un emploi ou signalé comme présentant un risque de suicide.

Pire encore, leur conception addictive piège les adolescents dans des cycles de surutilisation, conduisant à une escalade des crises de santé mentale, notamment l'anxiété, la dépression et l'automutilation. Lorsque vous en mesurez toute l’ampleur, il est trop tard : votre vie privée a été violée, vos opportunités façonnées par des algorithmes biaisés et la sécurité des plus vulnérables compromise, le tout à votre insu.

C’est ce que j’appelle des « dommages intangibles et cumulatifs » : les systèmes d’IA fonctionnent en arrière-plan, mais leurs impacts peuvent être dévastateurs et invisibles.

Pourquoi la réglementation est à la traîne

Malgré ces dangers croissants, les cadres juridiques du monde entier ont du mal à suivre le rythme. Aux États-Unis, une approche réglementaire mettant l’accent sur l’innovation a rendu difficile l’imposition de normes strictes sur la manière dont ces systèmes sont utilisés dans de multiples contextes.

Les tribunaux et les organismes de réglementation sont habitués à traiter des préjudices concrets, comme des blessures physiques ou des pertes économiques, mais les préjudices algorithmiques sont souvent plus subtils, cumulatifs et difficiles à détecter. Les réglementations ne parviennent souvent pas à prendre en compte les effets plus larges que les systèmes d’IA peuvent avoir au fil du temps.

Les algorithmes des réseaux sociaux, par exemple, peuvent progressivement éroder la santé mentale des utilisateurs, mais comme ces préjudices se développent lentement, ils sont difficiles à traiter dans les limites des normes juridiques actuelles.

Quatre types de préjudice algorithmique

En m’appuyant sur les connaissances existantes en matière d’IA et de gouvernance des données, j’ai classé les préjudices algorithmiques en quatre domaines juridiques : la vie privée, l’autonomie, l’égalité et la sécurité. Chacun de ces domaines est vulnérable à la puissance subtile mais souvent incontrôlée des systèmes d’IA.

Le premier type de préjudice est l’érosion de la vie privée. Les systèmes d'IA collectent, traitent et transfèrent de grandes quantités de données, portant atteinte à la vie privée des personnes d'une manière qui n'est peut-être pas immédiatement évidente mais qui a des implications à long terme. Par exemple, les systèmes de reconnaissance faciale peuvent suivre les personnes dans les espaces publics et privés, faisant ainsi de la surveillance de masse la norme.

Le deuxième type de préjudice concerne l’atteinte à l’autonomie. Les systèmes d’IA nuisent souvent subtilement à votre capacité à prendre des décisions autonomes en manipulant les informations que vous voyez. Les plateformes de médias sociaux utilisent des algorithmes pour montrer aux utilisateurs un contenu qui maximise les intérêts d'un tiers, façonnant subtilement les opinions, les décisions et les comportements de millions d'utilisateurs.

Le troisième type de préjudice est la diminution de l’égalité. Les systèmes d’IA, bien que conçus pour être neutres, héritent souvent des biais présents dans leurs données et algorithmes. Cela renforce les inégalités sociétales au fil du temps. Dans un cas tristement célèbre, un système de reconnaissance faciale utilisé par les magasins de détail pour détecter les voleurs à l’étalage a identifié de manière disproportionnée les femmes et les personnes de couleur.

Le quatrième type de préjudice concerne la sécurité. Les systèmes d'IA prennent des décisions qui affectent la sécurité et le bien-être des personnes. Lorsque ces systèmes tombent en panne, les conséquences peuvent être catastrophiques. Mais même lorsqu’ils fonctionnent comme prévu, ils peuvent toujours causer des dommages, comme les effets cumulatifs des algorithmes des réseaux sociaux sur la santé mentale des adolescents.

Étant donné que ces préjudices cumulés proviennent souvent d’applications d’IA protégées par les lois sur les secrets commerciaux, les victimes n’ont aucun moyen de détecter ou de retracer les préjudices. Cela crée un manque de responsabilité. Lorsqu’une décision d’embauche biaisée ou une arrestation injustifiée est prise grâce à un algorithme, comment la victime le sait-elle ? Sans transparence, il est presque impossible de demander des comptes aux entreprises.

Combler le déficit de responsabilité

La catégorisation des types de préjudices algorithmiques délimite les limites juridiques de la réglementation de l’IA et présente d’éventuelles réformes juridiques pour combler ce déficit de responsabilité. Je pense que les changements aideraient à inclure des évaluations d'impact algorithmiques obligatoires qui obligent les entreprises à documenter et à remédier aux dommages immédiats et cumulatifs d'une application d'IA sur la vie privée, l'autonomie, l'égalité et la sécurité, avant et après son déploiement. Par exemple, les entreprises utilisant des systèmes de reconnaissance faciale devraient évaluer les impacts de ces systèmes tout au long de leur cycle de vie.

Un autre changement utile consisterait en des droits individuels plus forts concernant l'utilisation des systèmes d'IA, permettant aux individus de se retirer des pratiques néfastes et d'obliger certaines applications d'IA à y participer. Par exemple, exiger un régime d'adhésion pour le traitement des données par les entreprises utilisant la reconnaissance faciale. systèmes et permettant aux utilisateurs de se désinscrire à tout moment.

Enfin, je suggère d’exiger des entreprises qu’elles divulguent l’utilisation de la technologie de l’IA et ses préjudices anticipés. À titre d’illustration, cela peut inclure d’informer les clients de l’utilisation de systèmes de reconnaissance faciale et des préjudices anticipés dans les domaines décrits dans la typologie.

À mesure que les systèmes d’IA sont de plus en plus utilisés dans des fonctions sociétales critiques – des soins de santé à l’éducation et à l’emploi – la nécessité de réglementer les dommages qu’ils peuvent causer devient plus pressante. Sans intervention, ces préjudices invisibles continueront probablement à s’accumuler, affectant presque tout le monde et frappant de manière disproportionnée les plus vulnérables.

Alors que l’IA générative multiplie et exacerbe les méfaits de l’IA, je pense qu’il est important que les décideurs politiques, les tribunaux, les développeurs de technologies et la société civile reconnaissent les méfaits juridiques de l’IA. Cela nécessite non seulement de meilleures lois, mais aussi une approche plus réfléchie de la technologie d’IA de pointe, une approche qui donne la priorité aux droits civils et à la justice face aux progrès technologiques rapides.

L’avenir de l’IA est incroyablement prometteur, mais sans les cadres juridiques appropriés, elle pourrait également consolider les inégalités et éroder les droits civils qu’elle est, dans de nombreux cas, censés renforcer.