Internet a un côté sombre, mais pouvons-nous apprendre aux machines à l’identifier ?

Un grand pouvoir implique de grandes responsabilités. En termes d’Internet, le pouvoir réside dans la multitude d’informations disponibles pour les utilisateurs partout, mais qui est responsable de s’assurer que les informations disponibles sont bonnes et vraies ?

Les « mauvaises » informations ont de sérieuses implications. La désinformation, la propagande et les fausses nouvelles sont répandues sur le Web et sur les plateformes de médias sociaux et peuvent devenir des armes, ce qui conduit à des cyberabus et, dans les cas graves, à des troubles civils.

L’Institut des sciences de l’information (ISI) de l’Université de Californie du Sud, une unité de la Viterbi School of Engineering, travaille sur deux projets visant à résoudre ce problème de l’intérieur, en développant une technologie capable d’exercer des capacités de raisonnement face à ce « mauvais » information.

Cette technologie servirait d’assistant aux modérateurs humains dont le travail consiste à surveiller les plateformes en ligne et à rechercher les contenus malveillants.

Une technologie à laquelle vous pouvez faire confiance

Le premier projet concerne la détection des erreurs logiques dans les arguments en langage naturel.

Alors, qu’est-ce qu’une erreur logique ?

Les erreurs logiques sont des erreurs de raisonnement utilisées pour prouver qu’un argument est vrai. Leurs origines remontent bien avant l’ère d’Internet – leur débat dans le domaine de la philosophie a ses racines dans la Grèce antique, il y a environ 2 800 ans.

Dans le contexte du Web, les erreurs logiques apparaissent sous la forme de déclarations fausses ou trompeuses qui circulent à la suite du libre échange à grande échelle d’informations permis par Internet.

Filip Ilievski, responsable de la recherche à l’ISI et professeur adjoint à l’USC, a déclaré que trouver des erreurs logiques est la première étape à maîtriser avant de s’attaquer aux véritables géants qui peuvent se manifester à la suite d’activités de partage d’informations sur le Web.

« Une fois que vous êtes en mesure d’identifier de manière fiable et transparente les erreurs logiques, vous pouvez ensuite appliquer cette technologie pour traiter les cas de désinformation, de fausses nouvelles et de propagande », a déclaré Ilievski.

Ce travail est le premier du genre à appliquer plusieurs couches à la détection des erreurs logiques, a expliqué Ilievski. Cela implique de demander au modèle de déterminer d’abord si l’argument donné est valable, puis d’aller « un niveau plus profond » et « d’identifier à un niveau élevé quel type d’erreur l’argument contient ».

Comment savent-ils ?

L’IA explicable peut identifier les erreurs logiques et les classer de deux manières principales : le raisonnement basé sur des cas et les méthodes de prototypage.

Ilievski a noté que le travail d’ISI est parmi les premiers à combiner les deux avec des modèles de langage et à « les adapter à des situations et des tâches arbitraires ».

Le raisonnement basé sur des cas est exactement ce qu’il paraît. Le modèle montre un vieil exemple d’un argument avec des erreurs logiques similaires, puis utilise ces connaissances pour déduire ses décisions concernant un nouvel argument.

« Vous dites bien, je ne sais pas comment résoudre cet argument mais j’ai ce vieil exemple que vous pouvez utiliser sur le nouveau devant vous », a expliqué Ilievski.

Les méthodes prototypes suivent le même processus. La seule différence est que le modèle fait des inférences à partir d’un cas de base simplifié qui peut être développé et appliqué à un exemple spécifique.

La clé ici est que ces modèles font plus que simplement identifier une erreur logique – ils donnent des explications raisonnables pour étayer leur jugement, une action qui, selon Ilievski, est un « facteur encourageant » pour l’avenir de ces méthodes dans la pratique.

Le meilleur outil d’un homme

Comment cela s’applique-t-il dans le monde réel, contre les vrais géants – la propagande, la désinformation et les fausses nouvelles – qui constituent des menaces en ligne ?

Ilievski envisage ces IA explicables agissant comme des « outils d’assistance humaine » qui aident les modérateurs ou les analystes qui surveillent les communautés en ligne.

Les modérateurs sont chargés de superviser l’activité de millions d’utilisateurs échangeant des idées 24h/24 et 7j/7. Vérifier manuellement les erreurs, compte tenu de leur volume et de leur complexité, est écrasant. L’ajout de l’apprentissage automatique à l’équipe permet d’atténuer ce fardeau.

« Supposons que vous ayez un modérateur sur une plate-forme de médias sociaux et qu’il veuille comprendre si quelque chose est fallacieux. Il serait utile d’avoir un outil comme celui-ci pour fournir une assistance et faire ressortir les erreurs potentielles, surtout si elles sont liées à la propagande et à la désinformation potentielle. » Ilievski a expliqué.

Le facteur d’explicabilité, ou la capacité de l’IA à fournir un raisonnement derrière les erreurs qu’elle identifie, est ce qui « favorise vraiment la confiance et l’utilisation dans les cadres d’IA humaine », a-t-il ajouté.

Cependant, il prévient que l’IA explicable n’est pas un outil auquel nous devrions faire aveuglément confiance.

« Ils peuvent nous faciliter la vie, mais ils ne suffisent pas à eux seuls », a noté Ilievski.

Mèmes, misogynie et plus

L’IA explicable peut également apprendre à identifier les mèmes qui contiennent des éléments problématiques, tels que « l’humour noir » qui est parfois carrément discriminatoire et offensant pour des groupes spécifiques de personnes ou la société dans son ensemble.

Pour ce deuxième projet, l’équipe s’est concentrée sur deux types spécifiques de contenus de mèmes nuisibles : la misogynie et le discours de haine.

Zhivar Sourati, un étudiant diplômé de l’USC qui travaille aux côtés d’Ilievski sur ces deux projets, affirme que la détection transparente des mèmes qui ont des fondements problématiques est cruciale compte tenu de la rapidité avec laquelle les informations se propagent en ligne.

« Pour les modérateurs de contenu, il est vraiment important de pouvoir détecter ces mèmes très tôt, car ils se propagent sur les réseaux sociaux comme Twitter ou Facebook et atteignent très rapidement un large public. »

Par nature, dit Sourati, les mèmes dépendent de plus d’aspects qu’il n’y paraît. Bien que les mèmes soient connus pour être succincts (parfois ils ne contiennent qu’une simple image), ils reflètent souvent des références culturelles qui peuvent être difficiles à expliquer.

« Vous avez une image, puis peut-être même pas une phrase mais un morceau de texte. Cela fait probablement référence à un concept, à un film ou à quelque chose qui fait l’actualité », a expliqué Sourati. « Vous savez instantanément que c’est drôle, mais il est vraiment difficile d’expliquer pourquoi, même pour les êtres humains et c’est également le cas pour l’apprentissage automatique. »

Cet aspect inexplicable des mèmes rend encore plus difficile d’enseigner à l’apprentissage automatique comment les classer, car ils doivent d’abord comprendre l’intention et la signification qui les sous-tendent.

Passer à l’essentiel

Le cadre utilisé par Ilievski et Sourati est appelé « raisonnement par cas ».

Le raisonnement basé sur des cas est essentiellement la façon dont les humains abordent un problème : apprendre des exemples précédents et appliquer ces connaissances à de nouveaux.

La machine est montrée quelques exemples de mèmes qui posent problème et la raison pour laquelle. Ensuite, dit Sourati, la machine est capable de construire une bibliothèque d’exemples, donc lorsqu’elle est chargée de classer un nouveau mème qui pourrait avoir « un peu d’abstraction par rapport aux exemples précédents », elle peut « aborder le nouveau problème avec tous les la connaissance qu’il porte jusqu’ici. »

Par exemple, s’ils se concentraient spécifiquement sur la misogynie, ils pourraient demander : « Pourquoi ce mème est-il misogyne ? Est-ce honteux ? Est-ce un stéréotype ? Est-ce qu’il démontre l’objectivation d’une femme ?

Ils ont utilisé une interface explicative pour visualiser le raisonnement des modèles et comprendre pourquoi le modèle prédit ainsi. Cette tactique de visualisation a aidé à dépanner et à améliorer les compétences du modèle.

« L’un des avantages est que nous pouvons effectuer une analyse d’erreur plus facile. Si notre modèle fait 20 erreurs sur 100 cas, nous pouvons ouvrir ces 20 et chercher à voir un schéma des biais du modèle en termes de données démographiques différentes de ce qui est représenté ou d’un cas spécifique. objet indiqué », a expliqué Ilievski. « Peut-être que chaque fois qu’il voit une glace, il pense que c’est de la misogynie. »

Humains et IA : un duo héroïque

Tout comme la détection des erreurs logiques, la classification des mèmes ne peut pas être effectuée de manière entièrement automatique et nécessite une collaboration homme-IA.

Cela étant dit, les découvertes d’Ilievski et Sourati montrent un avenir prometteur pour la capacité de l’IA à aider les humains à détecter les discours de haine et la misogynie dans les mèmes.

La complexité de la compréhension des mèmes, ou « l’élément de surprise » comme l’a dit Ilievski, a rendu ce sujet particulièrement excitant à travailler.

« Il y a un élément de difficulté qui rend ce processus très intéressant du point de vue de l’IA car il y a des informations qui sont implicites dans les mèmes », a déclaré Ilievski.

« Il y a des dimensions culturelles et contextuelles, et une notion très créative et personnelle pour le créateur du mème. Tout cela a rendu ce projet particulièrement excitant à travailler », a-t-il ajouté.

L’équipe ISI a mis ses découvertes et son code à la disposition d’autres chercheurs, dans l’espoir que les travaux futurs continueront à développer la capacité de l’IA à soutenir les humains dans leur lutte contre les contenus dangereux et préjudiciables en ligne.