Un modèle alternatif peut identifier les fausses nouvelles en traitant à la fois des données textuelles et visuelles

L’avènement d’Internet a modifié la manière dont les gens accèdent aux informations et les partagent, permettant ainsi aux individus malveillants de diffuser plus facilement des informations biaisées, peu fiables ou fausses. Les avancées technologiques récentes, notamment les modèles d’intelligence artificielle (IA) capables de générer des textes, des enregistrements audio et des images réalistes, contribuent encore davantage à cette vague de désinformation.

Ces dernières années, il est devenu de plus en plus difficile de distinguer les vraies des fausses nouvelles, ce qui crée un terrain propice à l’ignorance, à la confusion et à la polarisation. Il est donc crucial de développer des outils efficaces pour identifier et supprimer rapidement les fausses nouvelles en ligne provenant des sites Web et des moteurs de recherche populaires.

Des chercheurs de l’Université nationale Yang Ming Chiao Tung, de l’Université Chung Hua et de l’Université nationale Ilan ont récemment développé un nouveau modèle multimodal qui pourrait aider à détecter rapidement les fausses nouvelles en ligne. Ce modèle, présenté dans un article publié dans Progrès scientifiquepeut identifier les fausses nouvelles en traitant à la fois des données textuelles et visuelles, par opposition à un seul type de données.

« La littérature existante se concentre principalement sur l'analyse des caractéristiques individuelles des fausses nouvelles, négligeant la reconnaissance de fusion de caractéristiques multimodales », ont écrit Szu-Yin Lin, Yen-Chiu Chen et leurs collègues dans leur article.

« Par rapport aux approches monomodales, la fusion multimodale permet une capture plus complète et enrichie des informations provenant de différentes modalités de données (telles que le texte et les images), améliorant ainsi les performances et l'efficacité du modèle. Cette étude propose un modèle utilisant la fusion multimodale. pour identifier les fausses nouvelles, dans le but de lutter contre la désinformation.

Pour améliorer la détection des fausses nouvelles, Lin, Chen et leurs collègues ont entrepris de développer un modèle alternatif qui analyserait simultanément les caractéristiques textuelles et visuelles des informations en ligne. Le modèle qu’ils ont développé commence par nettoyer les données, pour ensuite extraire ces fonctionnalités des données nettoyées.

Le modèle des chercheurs intègre des informations textuelles et visuelles à l’aide de diverses stratégies de fusion, notamment des techniques de fusion précoce, de fusion conjointe et de fusion tardive. Lors des premiers tests, cette approche multimodale s'est avérée remarquablement efficace, détectant mieux les fausses nouvelles que les techniques monomodales bien établies, notamment BERT.

Le modèle multimodal de l'équipe a été testé sur les ensembles de données Gossopcop et Fakeddit, tous deux souvent utilisés pour former des modèles à la détection des fausses nouvelles. Sur ces deux mêmes ensembles de données, des modèles à modalité unique ont déjà été trouvés pour détecter les fausses nouvelles avec des précisions insatisfaisantes de 72 % et 65 %, respectivement.

« Le cadre proposé traite les informations textuelles et visuelles en nettoyant les données et en extrayant les caractéristiques avant la classification », ont écrit Lin, Chen et leurs collègues. « La classification des fausses nouvelles est réalisée grâce à un modèle atteignant une précision de 85 % et 90 % dans les ensembles de données Gossipcop et Fakeddit, avec des scores F1 de 90 % et 88 %, démontrant ses performances.

« L'étude présente les résultats de différentes périodes de formation, démontrant l'efficacité de la fusion multimodale pour combiner la reconnaissance de texte et d'image pour lutter contre les fausses nouvelles. »

Les résultats prometteurs rassemblés par Lin, Chen et leurs collègues mettent en évidence le potentiel des modèles de fusion multimodaux pour la détection des fausses nouvelles. Ils pourraient ainsi encourager d’autres équipes à développer des modèles similaires s’appuyant sur de multiples modalités.

À l’avenir, le nouveau modèle pourrait également être testé sur davantage d’ensembles de données et de données du monde réel. À terme, cela pourrait contribuer aux efforts mondiaux visant à lutter contre et à réduire la désinformation en ligne.