Un nouveau modèle d’IA peut aider à prévenir les violations de données dommageables et coûteuses

Les experts de l’Imperial en matière de confidentialité ont créé un algorithme d’intelligence artificielle qui teste automatiquement les systèmes de protection de la confidentialité pour détecter d’éventuelles fuites de données.

C’est la première fois que l’IA est utilisée pour découvrir automatiquement des vulnérabilités dans ce type de système, dont des exemples sont utilisés par Google Maps et Facebook.

Les experts, du Computational Privacy Group d’Imperial, ont examiné les attaques sur les systèmes basés sur des requêtes (QBS), des interfaces contrôlées par lesquelles les analystes peuvent interroger des données pour extraire des informations agrégées utiles sur le monde. Ils ont ensuite développé une nouvelle méthode basée sur l’IA appelée QuerySnout pour détecter les attaques sur QBS.

QBS permet aux analystes d’accéder à des collections de statistiques recueillies à partir de données individuelles telles que l’emplacement et la démographie. Ils sont actuellement utilisés dans Google Maps pour afficher des informations en direct sur la fréquentation d’une zone, ou dans la fonction de mesure d’audience de Facebook pour estimer la taille de l’audience dans un lieu ou un groupe démographique particulier afin de faciliter les promotions publicitaires.

Dans leur nouvelle étude, publiée dans le cadre de la 29e conférence ACM sur la sécurité informatique et des communications, l’équipe comprenant Ana Maria Cretu du Data Science Institute, le Dr Florimond Houssiau, le Dr Antoine Cully et le Dr Yves-Alexandre de Montjoye a découvert que et les attaques précises contre QBS peuvent facilement être automatiquement détectées en appuyant sur un bouton.

Selon l’auteur principal, le Dr Yves-Alexandre de Montjoye : « Les attaques ont jusqu’à présent été développées manuellement en utilisant une expertise hautement qualifiée. Cela signifie qu’il fallait beaucoup de temps pour découvrir les vulnérabilités, ce qui laisse les systèmes en danger.

« QuerySnout surpasse déjà les humains en matière de découverte de vulnérabilités dans les systèmes du monde réel. »

Le besoin de systèmes basés sur des requêtes

Notre capacité à collecter et à stocker des données a explosé au cours de la dernière décennie. Bien que ces données puissent contribuer à des avancées scientifiques, la plupart d’entre elles sont personnelles et, par conséquent, leur utilisation soulève de graves problèmes de confidentialité, protégés par des lois telles que le règlement général sur la protection des données de l’UE.

Par conséquent, permettre aux données d’être utilisées pour de bon tout en préservant notre droit fondamental à la vie privée est une question opportune et cruciale pour les scientifiques des données et les experts de la vie privée.

QBS a le potentiel de permettre une analyse de données anonymes préservant la confidentialité à grande échelle. Dans QBS, les conservateurs gardent le contrôle des données et peuvent donc vérifier et examiner les requêtes envoyées par les analystes pour s’assurer que les réponses renvoyées ne révèlent pas d’informations privées sur les individus.

Cependant, les attaquants illégaux peuvent contourner ces systèmes en concevant des requêtes pour déduire des informations personnelles sur des personnes spécifiques en exploitant les vulnérabilités ou les bogues de mise en œuvre du système.

Tester le système

Les risques d’attaques « zero-day » puissantes inconnues où les attaquants exploitent les vulnérabilités des systèmes ont bloqué le développement et le déploiement de QBS.

Pour tester la robustesse de ces systèmes, de la même manière que les tests d’intrusion en cybersécurité, des attaques de violation de données peuvent être simulées pour détecter les fuites d’informations et identifier les vulnérabilités potentielles.

Cependant, concevoir et mettre en œuvre manuellement ces attaques contre des QBS complexes est un processus long et difficile.

Par conséquent, selon les chercheurs, il est essentiel de limiter le potentiel d’attaques puissantes non atténuées pour permettre à QBS d’être mis en œuvre de manière utile et sûre tout en préservant les droits individuels à la vie privée.

RequêteSnout

L’équipe impériale a développé une nouvelle méthode basée sur l’IA appelée QuerySnout qui fonctionne en apprenant quelles questions poser au système pour obtenir des réponses. Il apprend ensuite à combiner automatiquement les réponses pour détecter les vulnérabilités potentielles de la vie privée.

En utilisant l’apprentissage automatique, le modèle peut créer une attaque consistant en une collection de requêtes qui combinent les réponses afin de révéler une information privée particulière. Ce processus est entièrement automatisé et utilise une technique appelée « recherche évolutive » qui permet au modèle QuerySnout de découvrir les bons ensembles de questions à poser.

Cela se produit dans un « paramètre de boîte noire », ce qui signifie que l’IA n’a besoin que d’accéder au système, mais n’a pas besoin de savoir comment le système fonctionne pour détecter les vulnérabilités.

La co-première auteur Ana-Maria Cretu a déclaré : « Nous démontrons que QuerySnout trouve des attaques plus puissantes que celles actuellement connues sur les systèmes du monde réel. Cela signifie que notre modèle d’IA est meilleur que les humains pour trouver ces attaques.

Prochaines étapes

Actuellement, QuerySnout ne teste qu’un petit nombre de fonctionnalités. Selon le Dr de Montjoye, « Le principal défi à l’avenir sera d’étendre la recherche à un plus grand nombre de fonctionnalités pour s’assurer qu’elle découvre même les attaques les plus avancées. »

Malgré cela, le modèle peut permettre aux analystes de tester la robustesse de QBS contre différents types d’attaquants. Le développement de QuerySnout représente une étape clé dans la sécurisation de la vie privée des individus par rapport aux systèmes basés sur des requêtes.