Une étude montre que les LLM pourraient être utilisés de manière malveillante pour empoisonner les graphiques de connaissances biomédicales

Ces dernières années, les chercheurs en médecine ont mis au point diverses nouvelles techniques qui peuvent les aider à organiser et à analyser de grandes quantités de données de recherche, découvrant ainsi des liens entre différentes variables (p. ex. maladies, médicaments, protéines, etc.). L’une de ces méthodes consiste à créer des graphes de connaissances biomédicales (KG), qui sont des représentations structurées d’ensembles de données biomédicales.

Des chercheurs de l’Université de Pékin et de l’Université de Washington ont récemment montré que les grands modèles linguistiques (LLM), techniques d’apprentissage automatique désormais largement utilisées pour générer et modifier des textes écrits, pourraient être utilisés par des utilisateurs malveillants pour empoisonner les KG biomédicales. Leur article, publié dans Intelligence des machines naturellesmontre que les LLM pourraient être utilisés pour générer des articles scientifiques fabriqués qui pourraient à leur tour produire des KG peu fiables et avoir un impact négatif sur la recherche médicale.

« Notre étude a été inspirée par les progrès rapides des grands modèles de langage (LLM) et leur utilisation abusive potentielle dans des contextes biomédicaux », a déclaré Junwei Yang, premier auteur de l'article, à Tech Xplore. « Nous soupçonnons que ces modèles peuvent potentiellement générer du contenu malveillant qui porte atteinte aux graphiques de connaissances médicales (KG). Nous avons particulièrement cherché à déterminer si ces modèles pouvaient ou non être utilisés à mauvais escient en induisant ces KG en erreur en leur faisant recommander des médicaments incorrects. »

L’objectif principal de l’étude récente menée par Yang et ses collègues était d’explorer la possibilité d’utiliser les LLM pour empoisonner les KG et d’évaluer l’impact que cette utilisation malveillante des modèles pourrait avoir sur la découverte biomédicale. En outre, les chercheurs espéraient faire la lumière sur les risques associés à l’utilisation d’ensembles de données accessibles au public pour mener des recherches médicales, ce qui pourrait potentiellement éclairer le développement de mesures efficaces pour prévenir l’empoisonnement de ces ensembles de données.

« Nous avons formulé un problème de génération de texte conditionnel visant à générer des résumés malveillants afin d'augmenter la pertinence entre des paires médicament-maladie données », a expliqué Yang. « Nous avons développé Scorpius, un pipeline en trois étapes, pour créer ces résumés. Tout d'abord, Scorpius identifie les liens malveillants les plus efficaces, puis utilise des LLM généraux pour transformer les liens en résumés malveillants correspondants, et enfin ajuste les résumés à l'aide de modèles médicaux spécialisés. »

Après avoir utilisé le pipeline Scorpius pour produire des résumés d'articles scientifiques fictifs mais réalistes, ils ont mélangé ces résumés malveillants avec un ensemble de données contenant 3 818 528 articles scientifiques authentiques stockés dans l'ensemble de données bibliographiques de Medline. Par la suite, ils ont tenté de déterminer comment le traitement de cet ensemble de données corrompus affectait la pertinence des relations médicament-maladie dans les KG qu’ils avaient construits.

« Nos résultats montrent qu'un seul résumé malveillant peut manipuler de manière significative la pertinence des paires médicament-maladie, augmentant ainsi le classement de 71,3 % des paires médicament-maladie du top 1 000 au top 10 », a déclaré Yang.

« Cela démontre une vulnérabilité critique des KG et met en évidence le besoin urgent de mesures visant à garantir l'intégrité des connaissances médicales à l'ère des LLM. De plus, nous avons proposé plusieurs stratégies de défense efficaces, notamment la construction d'un défenseur, la construction de graphes de connaissances plus larges et utiliser des articles qui ont fait l'objet d'un examen par des pairs pour réduire le risque d'empoisonnement.

Les résultats de cette étude récente mettent en évidence la facilité avec laquelle les ensembles de données accessibles au public pour la recherche médicale pourraient être empoisonnés à l’aide de LLM, ce qui pourrait à son tour aboutir à des KG peu fiables. Yang et ses collègues espèrent que leur article contribuera bientôt au développement de méthodes efficaces pour empêcher la modification malveillante des KG à l’aide des LLM.

« Nous envisageons désormais d'explorer des mécanismes de détection plus efficaces pour les résumés malveillants », a ajouté Yang. « De plus, nous aimerions intégrer à l'avenir des fonctionnalités de données telles que le temps de publication dans notre cadre, car nous soupçonnons que les sujets émergents sont plus susceptibles d'être empoisonnés. »