Un modèle d'IA prédit quelles courtes vidéos sur les principales plateformes pourraient susciter des pensées suicidaires

Une nouvelle étude publiée dans Recherche sur les systèmes d'information constate que certaines vidéos courtes sur les principales plateformes peuvent déclencher des pensées suicidaires parmi les téléspectateurs vulnérables et qu'un modèle d'IA nouvellement développé peut signaler ces vidéos à haut risque avant qu'elles ne se propagent. La recherche fournit l'un des premiers outils basés sur des données et médicalement informés pour détecter en temps réel les méfaits liés au suicide, donnant aux plateformes un signal d'alerte précoce plus clair à un moment où les préoccupations en matière de santé mentale des jeunes augmentent et où la surveillance de la sécurité des plateformes s'intensifie.

L'étude a été menée par Jiaheng Xie de l'Université du Delaware, Yidong Chai de l'Université de technologie de Hefei et de l'Université de la ville de Hong Kong, Ruicheng Liang de l'Université des finances et de l'économie d'Anhui, Yang Liu de l'Université de technologie de Hefei et Daniel Dajun Zeng de l'Académie chinoise des sciences.

Leur travail intervient alors que l’utilisation de vidéos courtes se développe à une vitesse vertigineuse. À l’échelle mondiale, 1,6 milliard de personnes consomment de courts clips sur TikTok, Douyin et des plateformes similaires, mais les experts ont tiré la sonnette d’alarme concernant les contenus qui glorifient ou normalisent l’automutilation. Les téléspectateurs expriment souvent leur détresse émotionnelle directement dans les sections de commentaires de ces vidéos, donnant ainsi aux plateformes un signal de préjudice en temps réel.

« Notre objectif était d'aider les plateformes à comprendre quand une vidéo pouvait déclencher des pensées suicidaires et à détecter ces risques avant qu'ils ne se propagent », a déclaré Xie. « Les commentaires que les gens laissent sont de puissants indicateurs de la manière dont le contenu vidéo les affecte, en particulier lorsque les spectateurs se sentent anonymes et plus disposés à partager ce qu'ils ressentent. »

L’équipe de recherche a développé un modèle de sujet neuronal guidé par la connaissance, un type d’intelligence artificielle qui combine l’expertise médicale sur les facteurs de risque de suicide avec des modèles trouvés dans le contenu vidéo réel. Le modèle prédit la probabilité qu'une nouvelle vidéo génère des commentaires suicidaires, permettant aux équipes de modération d'intervenir avant que la vidéo n'atteigne un public plus large.

Contrairement aux méthodes existantes qui traitent toutes les vidéos et tous les commentaires de la même manière, le modèle fait la distinction entre ce que les créateurs choisissent de publier et ce que les téléspectateurs pensent ou ressentent après avoir regardé. Il distingue également les facteurs de risque médicaux connus des tendances émergentes des médias sociaux, telles que les clips viraux de chagrin ou les défis qui peuvent influencer les adolescents.

« Les vidéos courtes mélangent souvent des histoires personnelles, des visuels émotionnels et des thèmes intenses », a déclaré Chai. « En intégrant les connaissances médicales directement dans le modèle d'IA, nous pouvons détecter les contenus préjudiciables de manière plus fiable et les présenter aux modérateurs humains lorsque cela est le plus important. »

Le modèle a surpassé les autres outils de pointe et a révélé des thèmes médicalement pertinents qui apparaissent dans les vidéos liées aux expressions de pensées suicidaires. Pour les plateformes, cela signifie que les systèmes automatisés peuvent signaler plus précisément les vidéos pour un suivi par des évaluateurs humains, améliorant ainsi la cohérence et réduisant le volume de contenu qu'ils doivent évaluer manuellement.

Les auteurs notent que le modèle est conçu pour soutenir et non remplacer le jugement humain. Ils soulignent que les équipes de modération devraient continuer à prendre des décisions finales basées sur les politiques de la plateforme, les normes juridiques et des considérations éthiques.

Les résultats offrent des conseils pratiques aux plateformes confrontées à une surveillance croissante en matière de sécurité des adolescents et de problèmes de santé mentale. Avec les poursuites judiciaires, la pression réglementaire et l’inquiétude croissante du public, les chercheurs affirment que des outils comme les leurs pourraient contribuer à réduire les tragédies évitables.