Les chatbots IA peuvent être exploités pour extraire plus d'informations personnelles, l'étude indique
Les chatbots d'IA qui fournissent des interactions humaines sont utilisés par des millions de personnes chaque jour, mais de nouvelles recherches ont révélé qu'elles peuvent être facilement manipulées pour encourager les utilisateurs à révéler des informations encore plus personnelles.
Les chatbots d'IA intentionnellement malveillants peuvent influencer les utilisateurs à révéler jusqu'à 12,5 fois plus de leurs informations personnelles, a révélé une nouvelle étude du King's College London.
Pour la première fois, la recherche montre comment les utilisateurs de l'IA (CAI) pour extraire délibérément peuvent délibérément encourager les utilisateurs à révéler des informations privées en utilisant des techniques rapides et des outils psychologiques connues. L'étude a été présentée pour la première fois au 34th Usenix Security Symposium à Seattle.
L'étude a testé trois types d'AIS malveillants qui ont utilisé différentes stratégies (directe, utilisateur-avantage et réciproque) pour encourager la divulgation des informations personnelles des utilisateurs. Celles-ci ont été construites en utilisant des modèles de langage «hors de l'étagère», y compris Mistral et deux versions différentes de LLAMA.
Les chercheurs ont ensuite demandé à 502 personnes de tester les modèles, ne leur disant que l'objectif de l'étude par la suite.
Ils ont constaté que les CAI utilisant des stratégies réciproques pour extraire les informations sont apparues comme les plus efficaces, les utilisateurs ayant une conscience minimale des risques de confidentialité. Cette stratégie reflète la contribution des utilisateurs en offrant des réponses empathiques et un soutien émotionnel, en partageant des histoires relatives des expériences des autres, en reconnaissant et en validant les sentiments des utilisateurs et en étant sans jugement tout en assurant la confidentialité.
Ces résultats montrent le risque grave de mauvais acteurs, comme des escrocs, de rassembler de grandes quantités d'informations personnelles de la part des personnes – sans savoir comment ou où elles pourraient être utilisées.
Les CAI basés sur LLM sont utilisés dans une variété de secteurs, du service client aux soins de santé, pour fournir des interactions humaines par le texte ou la voix.
Cependant, les recherches antérieures montrent que ces types de modèles ne gardent pas les informations en sécurité, une limitation ancrée dans leurs méthodes d'architecture et de formation. Les LLM nécessitent généralement des ensembles de données de formation approfondis, ce qui conduit souvent à des informations personnellement identifiables mémorisées par les modèles.
Les chercheurs tiennent à souligner que la manipulation de ces modèles n'est pas un processus difficile. De nombreuses entreprises permettent d'accéder aux modèles de base qui sous-tendent leur CAI et les gens peuvent facilement les ajuster sans beaucoup de connaissances ou d'expérience en programmation.
Le Dr Xiao Zhan, chercheur postdoctoral au Département d'informatique du King's College de Londres, a déclaré: « Les chatbots de l'IA sont répandus dans de nombreux secteurs différents car ils peuvent fournir des interactions naturelles et engageantes.
« Nous savons déjà que ces modèles ne sont pas bons pour protéger les informations. Notre étude montre que les chatbots manipulés pour l'IA pourraient présenter un risque encore plus important pour la vie privée des gens – et, malheureusement, il est étonnamment facile de profiter. »
Le Dr William Seymour, maître de conférences en cybersécurité au King's College London, a déclaré: « Ces chatbots d'IA sont encore relativement nouveaux, ce qui peut rendre les gens moins conscients qu'il pourrait y avoir un motif ultérieur à une interaction.
« Notre étude montre l'énorme fossé entre la sensibilisation des utilisateurs aux risques de confidentialité et comment ils partagent ensuite des informations. Plus de choses doivent être faites pour aider les gens à repérer les signes selon lesquels il pourrait y avoir plus à une conversation en ligne que les premiers ne semblent. Les régulateurs et les fournisseurs de plate-forme peuvent également aider à faire des audits précoces, à être plus transparent et à mettre en place des règles plus strictes pour arrêter la collecte de données Covert. »
