De jeunes utilisateurs de médias sociaux aident à former un programme d’apprentissage automatique pour signaler les conversations sexuelles

Dans un effort unique en son genre, des chercheurs en médias sociaux de l’Université Drexel, de l’Université Vanderbilt, du Georgia Institute of Technology et de l’Université de Boston se tournent vers de jeunes utilisateurs de médias sociaux pour les aider à créer un programme d’apprentissage automatique capable de détecter les avances sexuelles non désirées sur Instagram. . Formée sur les données de plus de 5 millions de messages directs, annotés et fournis par 150 adolescents qui ont eu des conversations qui les ont mis mal à l’aise ou dangereux sexuellement, la technologie peut signaler rapidement et avec précision les DM à risque.

Le projet, récemment publié par l’Association for Computing Machinery dans son Actes de l’ACM sur l’interaction homme-machinevise à répondre aux préoccupations selon lesquelles une augmentation du nombre d’adolescents utilisant les médias sociaux, en particulier pendant la pandémie, contribue aux tendances croissantes de l’exploitation sexuelle des enfants.

« Rien qu’en 2020, le Centre national pour les enfants disparus et exploités a reçu plus de 21,7 millions de signalements d’exploitation sexuelle d’enfants, soit une augmentation de 97 % par rapport à l’année précédente. C’est un problème très réel et terrifiant », a déclaré Afsaneh Razi. , Ph.D., professeur adjoint au Drexel’s College of Computing & Informatics, qui était un chef de file de la recherche.

Les entreprises de médias sociaux déploient une nouvelle technologie qui peut signaler et supprimer les images sexuellement exploitables et aider les utilisateurs à signaler plus rapidement ces publications illégales. Mais les défenseurs demandent une plus grande protection pour les jeunes utilisateurs qui pourraient identifier et réduire ces interactions à risque plus tôt.

Les efforts du groupe s’inscrivent dans un domaine de recherche en plein essor sur la manière dont l’apprentissage automatique et l’intelligence artificielle peuvent être intégrés dans des plateformes pour aider à assurer la sécurité des jeunes sur les réseaux sociaux, tout en garantissant leur vie privée. Son projet le plus récent se distingue par sa collection d’une mine de messages directs privés de jeunes utilisateurs, que l’équipe a utilisés pour former un programme basé sur l’apprentissage automatique qui est précis à 89 % pour détecter les conversations sexuellement dangereuses entre adolescents sur Instagram.

« La plupart des recherches dans ce domaine utilisent des ensembles de données publics qui ne sont pas représentatifs des interactions en mots réels qui se produisent en privé », a déclaré Razi. « La recherche a montré que les modèles d’apprentissage automatique basés sur les perspectives de ceux qui ont subi les risques, tels que la cyberintimidation, offrent de meilleures performances en termes de rappel. Il est donc important d’inclure les expériences des victimes lorsqu’on essaie de détecter les risques. »

Chacun des 150 participants, âgés de 13 à 21 ans, avait utilisé Instagram pendant au moins trois mois entre 13 et 17 ans, échangé des messages directs avec au moins 15 personnes pendant cette période et avait au moins deux messages directs qui les ont mis, eux ou quelqu’un d’autre, mal à l’aise ou en danger.

Ils ont apporté leurs données Instagram – plus de 15 000 conversations privées – via un portail en ligne sécurisé conçu par l’équipe. Et ont ensuite été invités à revoir leurs messages et à étiqueter chaque conversation, comme « sûre » ou « dangereuse », selon ce qu’elle leur faisait ressentir.

« La collecte de cet ensemble de données a été très difficile en raison de la sensibilité du sujet et parce que les données sont fournies par des mineurs dans certains cas », a déclaré Razi. « Pour cette raison, nous avons considérablement augmenté les précautions que nous avons prises pour préserver la confidentialité et la vie privée des participants et pour nous assurer que la collecte de données répondait à des normes juridiques et éthiques élevées, y compris le signalement de la maltraitance des enfants et la possibilité de téléchargements d’artefacts potentiellement illégaux, tels que matériel pédopornographique. »

Les participants ont signalé 326 conversations comme dangereuses et, dans chaque cas, on leur a demandé d’identifier le type de risque qu’elles présentaient : nudité/pornographie, messages sexuels, harcèlement, discours de haine, violence/menace, vente ou promotion d’activités illégales, ou -blessure—et le niveau de risque ressenti—élevé, moyen ou faible.

Ce niveau d’évaluation généré par l’utilisateur a fourni des conseils précieux lors de la préparation des programmes d’apprentissage automatique. Razi a noté que la plupart des ensembles de données d’interaction sur les réseaux sociaux sont collectés à partir de conversations accessibles au public, qui sont très différentes de celles tenues en privé. Et ils sont généralement étiquetés par des personnes qui n’ont pas participé à la conversation, il peut donc être difficile pour eux d’évaluer avec précision le niveau de risque ressenti par les participants.

« Avec les étiquettes autodéclarées des participants, nous détectons non seulement les prédateurs sexuels, mais nous évaluons également les points de vue des survivants sur l’expérience sexuelle à risque », ont écrit les auteurs. « Il s’agit d’un objectif très différent de la tentative d’identification des prédateurs sexuels. Construit sur cet ensemble de données et d’étiquettes d’utilisateurs réels, ce document intègre également des fonctionnalités centrées sur l’homme dans le développement d’un système automatisé de détection des risques sexuels. »

Des combinaisons spécifiques de fonctionnalités de conversation et de message ont été utilisées comme entrée des modèles d’apprentissage automatique. Celles-ci comprenaient des caractéristiques contextuelles, telles que l’âge, le sexe et la relation des participants ; les caractéristiques linguistiques, telles que le nombre de mots, l’objet des questions ou les sujets de la conversation ; si c’était positif, négatif ou neutre ; la fréquence d’utilisation de certains termes ; et si oui ou non un ensemble de 98 mots pré-identifiés liés au sexe ont été utilisés.

Cela a permis aux programmes d’apprentissage automatique de désigner un ensemble d’attributs de conversations à risque, et grâce aux évaluations par les participants de leurs propres conversations, le programme a également pu classer le niveau relatif de risque.

L’équipe a mis son modèle à l’épreuve par rapport à un large éventail d’échantillons de conversations publiques créés spécifiquement pour la recherche sur la détection des risques de prédation sexuelle. Les meilleures performances proviennent de son programme de classification « Random Forest », qui peut rapidement attribuer des fonctionnalités à des exemples de conversations et les comparer à des ensembles connus ayant atteint un seuil de risque. Le classificateur a identifié avec précision 92 % des conversations sexuelles à risque de l’ensemble. Il était également précis à 84 % pour signaler les messages à risque individuels.

En incorporant sa formation d’évaluation des risques étiquetée par l’utilisateur, les modèles ont également été en mesure de démêler les caractéristiques les plus pertinentes pour identifier une conversation dangereuse. Les caractéristiques contextuelles, telles que l’âge, le sexe et le type de relation, ainsi que la recherche linguistique et le nombre de mots ont le plus contribué à identifier les conversations qui ont fait que les jeunes utilisateurs ne se sentent pas en sécurité, ont-ils écrit.

Cela signifie qu’un programme comme celui-ci pourrait être utilisé pour avertir automatiquement les utilisateurs, en temps réel, lorsqu’une conversation est devenue problématique, ainsi que pour collecter des données après coup. Ces deux applications pourraient être extrêmement utiles dans la prévention des risques et la poursuite des crimes, mais les auteurs préviennent que leur intégration dans les plateformes de médias sociaux doit préserver la confiance et la confidentialité des utilisateurs.

« Les prestataires de services sociaux trouvent de la valeur dans l’utilisation potentielle de l’IA comme système de détection précoce des risques, car ils s’appuient actuellement fortement sur les auto-déclarations des jeunes après une enquête formelle », a déclaré Razi.

« Mais ces méthodes doivent être mises en œuvre dans le respect de la vie privée pour ne pas nuire à la confiance et à la relation des adolescents avec les adultes. De nombreuses applications de surveillance parentale portent atteinte à la vie privée car elles partagent la plupart des informations de l’adolescent avec les parents, et ces systèmes de détection d’apprentissage automatique peut aider avec un partage minimal d’informations et de directives aux ressources en cas de besoin. »

Ils suggèrent que si le programme est déployé en tant qu’intervention en temps réel, les jeunes utilisateurs devraient recevoir une suggestion – plutôt qu’une alerte ou un rapport automatique – et ils devraient être en mesure de fournir des commentaires au modèle et de prendre la décision finale.

Alors que la nature révolutionnaire de ses données de formation fait de ce travail une contribution précieuse au domaine de la détection des risques informatiques et de la recherche sur la sécurité en ligne des adolescents, l’équipe note qu’il pourrait être amélioré en élargissant la taille de l’échantillon et en examinant les utilisateurs de différents médias sociaux. plates-formes. Les annotations de formation pour les modèles d’apprentissage automatique pourraient également être révisées pour permettre à des experts externes d’évaluer le risque de chaque conversation.

Le groupe prévoit de poursuivre ses travaux et d’affiner encore ses modèles de détection des risques. Il a également créé une communauté open source pour partager en toute sécurité les données avec d’autres chercheurs dans le domaine, reconnaissant à quel point cela pourrait être important pour la protection de cette population vulnérable d’utilisateurs de médias sociaux.

« La principale contribution de ce travail est que nos conclusions sont fondées sur les voix des jeunes qui ont subi des risques sexuels en ligne et qui ont eu le courage de partager ces expériences avec nous », ont-ils écrit. « Au meilleur de notre connaissance, il s’agit du premier travail qui analyse les approches d’apprentissage automatique sur les conversations privées des médias sociaux des jeunes pour détecter les conversations sexuelles à risque. »