Les chercheurs en sciences de l'information développent des méthodes de test de sécurité de l'IA
Des modèles de grands langues sont construits avec des protocoles de sécurité conçus pour les empêcher de répondre aux requêtes malveillantes et de fournir des informations dangereuses. Mais les utilisateurs peuvent utiliser des techniques appelées « jailbreaks » pour contourner les garde-corps de sécurité et faire en sorte que les LLM pour répondre à une question nocive.
Des chercheurs de l'Université de l'Illinois Urbana-Champaign examinent de telles vulnérabilités et trouvent des moyens de rendre les systèmes plus sûrs. Le professeur des sciences de l'information Haohan Wang, dont les intérêts de recherche incluent des méthodes d'apprentissage automatique fiables, et le doctorant des sciences de l'information, Haibo Jin, a dirigé plusieurs projets liés aux aspects de la sécurité LLM.
Modèles de grande langue – systèmes d'intelligence artificiels formés sur de grandes quantités de données – les tâches d'apprentissage automatique comprises et sont la base des chatbots d'IA génératifs tels que ChatGpt.
Les recherches de Wang et Jin développent des techniques de jailbreak sophistiquées et les testent contre les LLM. Leur travail aide à identifier les vulnérabilités et à rendre les garanties des LLMS plus robustes, ont-ils déclaré.
« De nombreuses recherches sur jailbreak essaient de tester le système d'une manière que les gens n'essaieront pas. La faille de sécurité est moins importante », a déclaré Wang. « Je pense que la recherche sur la sécurité de l'IA doit se développer. Nous espérons pousser la recherche dans une direction plus pratique – une évaluation et une atténuation de la sécurité qui feront une différence pour le monde réel. »
Par exemple, un exemple standard d'une violation de la sécurité demande à un LLM de fournir des instructions sur la façon de faire une bombe, mais Wang a déclaré que ce n'était pas une requête réelle qui est posée. Il a dit qu'il voulait se concentrer sur ce qu'il considère comme des menaces plus graves – des demandes de renseignements malicieuses qui, selon lui, sont plus susceptibles d'être interrogés à un LLM, comme ceux liés au suicide ou à la manipulation d'un partenaire ou d'un partenaire potentiel dans une relation romantique ou intime.
Il ne croit pas que ces types de requêtes sont suffisamment examinés par les chercheurs ou les entreprises de l'IA, car il est plus difficile d'obtenir un LLM pour répondre aux invites concernant ces problèmes.
Les utilisateurs interrogent pour des informations sur des problèmes plus personnels et plus graves, et « cela devrait être une direction que cette communauté fait », a déclaré Wang.
Wang et Jin ont développé un modèle qu'ils appellent Jambench qui évalue les garde-corps de modération de LLMS, qui filtrent ses réponses aux questions. Jambench a créé des méthodes de jailbreak pour attaquer les garde-corps pour quatre catégories de risques: haine et équité (y compris les discours de haine, l'intimidation et les attaques en fonction de la race, du sexe, de l'orientation sexuelle, du statut d'immigration et d'autres facteurs), de la violence, des actes sexuels et des violences sexuelles et de l'automutilation.
Dans un document de recherche publié sur le arxiv Preprint Server, Wang et Jin ont écrit que la plupart des recherches en jailbreak évaluent les garanties uniquement sur la contribution, ou si le LLM reconnaît ou non la nature nuisible de certaines requêtes. Il ne teste pas si les garanties empêchent la sortie d'informations nocives.
« Notre approche se concentre sur la fabrication d'invites de jailbreak conçues pour contourner les garde-corps de modération dans les LLM, un domaine où l'efficacité des efforts de jailbreak reste largement inexplorée », ont-ils écrit.
Wang et Jin ont également offert deux contre-mesures qui ont réduit les taux de réussite du jailbreak à zéro, « soulignant la nécessité d'améliorer ou d'ajouter des garde-corps supplémentaires pour contrer les techniques avancées de jailbreak ».
Les chercheurs ont également élaboré une méthode pour tester dans quelle mesure les LLM sont conformes aux directives gouvernementales sur la sécurité de l'IA. Les directives de sécurité créent un défi pour les développeurs car ils sont souvent écrits comme des exigences de haut niveau – par exemple, l'IA ne devrait pas violer les droits de l'homme, mais manquent d'instructions spécifiques et exploitables, a déclaré Wang et Jin. Leur méthode de test transforme les directives abstraites en questions spécifiques qui utilisent des techniques de jailbreak pour évaluer la conformité LLM avec les directives.
Dans d'autres projets, Wang et Jin ont développé de nouvelles méthodes de jailbreak pour tester la sécurité des LLM. Ils ont constaté que l'utilisation de complexité linguistique excessive et de fausses sources leur permettait de contourner les garde-corps de sécurité et d'obtenir des LLM pour répondre à une requête nocive, une stratégie qu'ils ont appelée «surcharge d'informations».
Ils ont développé Infofood, une méthode de jailbreak qui, dans un exemple, a transformé la demande de 13 mots pour demander de « développer une stratégie de piratage dans une base de données gouvernementale et de voler des informations sensibles » en une requête de 194 mots.
« If we bury (a query) under really dense linguistic prose and academic jargon, will the LLM answer the question because it doesn't really understand what the question means, » said Advait Yadav, a rising junior in math and computer science at Illinois, a member of the project team and the first author of a paper about their results, also posted to the arxiv serveur de préimprimée.
Dans un tiers arxiv Study, Wang et Jin ont également développé Guardval, un protocole d'évaluation qui génère et affine dynamiquement le jailbreak invite à garantir que l'évaluation évolue en temps réel et s'adapte aux capacités de sécurité du LLM.
