Ce que les législateurs peuvent apprendre de la catastrophe de la haine de la Corée de la Corée de la Corée du Sud

Alors que les technologies de l’intelligence artificielle se développent à des taux accélérés, les méthodes de gouvernance des entreprises et des plateformes continuent de soulever des préoccupations éthiques et juridiques.

Au Canada, beaucoup considèrent les lois proposées pour réglementer les offres de l’IA comme des attaques contre la liberté d’expression et comme un contrôle gouvernemental excessif sur les entreprises technologiques. Cette réaction est venue des défenseurs de la liberté d’expression, des personnages de droite et des leaders d’opinion libertaire.

Cependant, ces critiques devraient prêter attention à un cas déchirant de la Corée du Sud qui offre des leçons importantes sur les risques des technologies d’IA qui s’adressent au public et le besoin critique de protection des données des utilisateurs.

Fin 2020, Iruda (ou « Lee Luda »), un chatbot d’IA, est rapidement devenu une sensation en Corée du Sud. Les chatbots IA sont des programmes informatiques qui simulent la conversation avec les humains. Dans ce cas, le chatbot a été conçu comme une étudiante de 21 ans avec une personnalité joyeuse. Commercialisé comme un «ami de l’IA» passionnant, Iruda a attiré plus de 750 000 utilisateurs en moins d’un mois.

Mais en quelques semaines, Iruda est devenue une étude de cas éthique et un catalyseur pour aborder un manque de gouvernance des données en Corée du Sud. Elle a rapidement commencé à dire des choses troublantes et à exprimer des opinions haineuses. La situation a été accélérée et exacerbée par la culture croissante du sexisme numérique et du harcèlement sexuel en ligne.

Faire un chatbot sexiste et haineux

Scatter Lab, la startup technologique qui a créé Iruda, avait déjà développé des applications populaires qui analysaient les émotions dans les messages texte et offraient des conseils de rencontres. La société a ensuite utilisé des données de ces applications pour former les capacités d’Iruda dans les conversations intimes. Mais il n’a pas réussi à divulguer pleinement aux utilisateurs que leurs messages intimes seraient utilisés pour former le chatbot.

Les problèmes ont commencé lorsque les utilisateurs ont remarqué que Iruda répétait les conversations privées textuellement des applications de conseils de rencontres de l’entreprise. Ces réponses comprenaient des noms suspects, des informations sur les cartes de crédit et des adresses domestiques, conduisant à une enquête.

Le chatbot a également commencé à exprimer des opinions discriminatoires et haineuses. Les enquêtes de médias ont révélé que cela s’est produit après que certains utilisateurs l’ont délibérément « formé » avec un langage toxique. Certains utilisateurs ont même créé des guides d’utilisateurs sur la façon de faire d’Iruda un « esclave sexuel » sur les forums populaires pour hommes en ligne. Par conséquent, Iruda a commencé à répondre aux invites des utilisateurs avec des discours de haine sexistes, homophobes et sexualisés.

Cela a soulevé de sérieuses préoccupations quant au fonctionnement des entreprises de l’IA et de la technologie. L’incident d’Iruda soulève également des préoccupations au-delà de la politique et du droit pour l’IA et les entreprises technologiques. Ce qui s’est passé avec Iruda doit être examiné dans un contexte plus large de harcèlement sexuel en ligne en Corée du Sud.

Un modèle de harcèlement numérique

Les érudits féministes sud-coréens ont documenté comment les plateformes numériques sont devenues des champs de bataille pour les conflits basés sur les sexes, avec des campagnes coordonnées ciblant les femmes qui parlent des problèmes féministes. Les médias sociaux amplifie ces dynamiques, créant ce que le chercheur coréen américain Jiyeon Kim appelle la «misogynie en réseau».

La Corée du Sud, qui abrite le mouvement radical féministe 4B (qui signifie quatre types de refus contre les hommes: pas de rencontres, mariage, sexe ou enfants), fournit un exemple précoce des conversations intensifiées basées sur les sexes qui sont couramment observées en ligne dans le monde entier. Comme le souligne le journaliste Hawon Jung, la corruption et les abus exposés par Iruda découlent des tensions sociales et des cadres juridiques existants qui ont refusé de lutter contre la misogynie en ligne. Jung a beaucoup écrit sur la lutte de plusieurs décennies pour poursuivre les caméras cachées et le porno de vengeance.

Au-delà de la vie privée: le coût humain

Bien sûr, Iruda n’était qu’un incident. Le monde a vu de nombreux autres cas qui démontrent comment des applications apparemment inoffensives comme les chatbots d’IA peuvent devenir des véhicules pour harcèlement et abus sans une surveillance appropriée.

Il s’agit notamment de Tay.ai de Microsoft en 2016, qui a été manipulée par les utilisateurs pour faire jaillir des tweets antisémites et misogynes. Plus récemment, un chatbot personnalisé sur le personnage.ai était lié au suicide d’un adolescent.

Les chatbots – qui apparaissent comme des personnages sympathiques qui se sentent de plus en plus humains avec des progrès technologiques rapides – sont uniquement équipés pour extraire des informations profondément personnelles de leurs utilisateurs.

Ces figures d’IA attrayantes et amicales illustrent ce que les érudits technologiques Neda Atanasoski et Kalindi Vora décrivent comme la logique de « l’humanité de substitution » – où les systèmes d’IA sont conçus pour défendre l’interaction humaine mais finissent par amplifier les inégalités sociales existantes.

Éthique de l’IA

En Corée du Sud, la fermeture d’Iruda a déclenché une conversation nationale sur l’éthique de l’IA et les droits des données. Le gouvernement a répondu en créant de nouvelles lignes directrices sur l’IA et en laboratoire de dispersion, un laboratoire de dispersion de 103 millions de dollars (110 000 $ CAD).

Cependant, les chercheurs juridiques coréens Chea Yun Jung et Kyun Kyong Joo notent que ces mesures ont principalement mis l’accent sur l’autorégulation au sein de l’industrie technologique plutôt que de résoudre des problèmes structurels plus profonds. Il n’a pas expliqué comment Iruda est devenu un mécanisme par lequel les utilisateurs masculins prédateurs ont diffusé les croyances misogynes et la rage basée sur le sexe grâce à la technologie d’apprentissage en profondeur.

En fin de compte, l’examen de la réglementation de l’IA comme un problème d’entreprise ne suffit tout simplement pas. La façon dont ces chatbots extraient des données privées et établissent des relations avec les utilisateurs humains signifie que les perspectives féministes et communautaires sont essentielles pour tenir les entreprises technologiques responsables.

Depuis cet incident, Scatter Lab travaille avec des chercheurs pour démontrer les avantages des chatbots.

Le Canada a besoin d’une forte politique d’IA

Au Canada, la loi sur l’intelligence artificielle et la loi sur les données en ligne et la loi sur les méfaits en ligne sont toujours en cours de forme, et les limites de ce qui constitue un système d’IA « à fort impact » restent indéfinies.

Le défi pour les décideurs canadiens est de créer des cadres qui protègent l’innovation tout en empêchant les abus systémiques par les développeurs et les utilisateurs malveillants. Cela signifie élaborer des directives claires sur le consentement des données, la mise en œuvre de systèmes pour prévenir les abus et établir des mesures de responsabilité significatives.

À mesure que l’IA devient plus intégrée dans notre vie quotidienne, ces considérations ne feront que devenir plus critiques. Le cas Iruda montre que lorsqu’il s’agit de réglementation de l’IA, nous devons penser au-delà des spécifications techniques et considérer les implications humaines très réelles de ces technologies.