Le système d'apprentissage fédéré Lancelot combine cryptage et agrégation robuste pour résister aux attaques d'empoisonnement

L'apprentissage fédéré est une technique d'apprentissage automatique qui permet à plusieurs individus, appelés « clients », d'entraîner un modèle de manière collaborative, sans partager de données d'entraînement brutes entre eux. Cette approche de « formation partagée » pourrait être particulièrement avantageuse pour former des modèles d'apprentissage automatique conçus pour accomplir des tâches dans des contextes financiers et de soins de santé, sans accéder aux données personnelles des personnes.

Malgré leur potentiel, des études antérieures ont mis en évidence la vulnérabilité des techniques d’apprentissage fédéré aux attaques dites d’empoisonnement. Ces attaques consistent en la soumission de données corrompues par des utilisateurs malveillants, ce qui nuit aux performances d'un modèle.

Une approche proposée pour minimiser les effets des données corrompues ou des mises à jour sur les performances d'un modèle est connue sous le nom d'apprentissage fédéré robuste et byzantin. Cette approche s'appuie sur des stratégies mathématiques pour garantir que les données peu fiables sont ignorées, mais elle n'empêche pas les violations potentielles des informations sensibles mémorisées par les réseaux de neurones qui peuvent être reconstruites par des attaquants.

Des chercheurs de l’Université chinoise de Hong Kong, de l’Université municipale de Hong Kong et d’autres instituts ont récemment développé un système d’apprentissage fédéré efficace et robuste, qui intègre également des techniques cryptographiques avancées, minimisant ainsi le risque d’attaques par empoisonnement et de violations de données personnelles. Ce nouveau système, appelé Lancelot, a été présenté dans un article publié dans Intelligence des machines naturelles.

« Nous avons décidé de résoudre un problème que nous avons régulièrement constaté dans les domaines réglementés : l'apprentissage fédéré peut résister aux participants malveillants grâce à une agrégation robuste, et le cryptage entièrement homomorphique peut garder les mises à jour secrètes, mais faire les deux en même temps a été trop lent à utiliser », a déclaré Siyang Jiang, premier auteur de l'article, à Tech Xplore. « Notre objectif était de créer un système qui reste fiable même lorsque certains clients tentent d'empoisonner le modèle, qui garde chaque mise à jour cryptée du début à la fin et qui soit suffisamment rapide pour le travail quotidien. »

Lancelot, le système développé par Jiang et ses collègues, conserve cryptées les mises à jour locales apportées à un modèle, tout en sélectionnant les mises à jour client dignes de confiance sans révéler sa sélection aux autres. De plus, le système nécessite moins de calculs, n’effectuant que deux étapes cryptographiques plus intelligentes et garantissant que les opérations mathématiques plus lourdes sont effectuées par les unités de traitement graphique.

« En bref, Lancelot comble les lacunes en matière de confidentialité et de sécurité dans l'apprentissage fédéré tout en réduisant considérablement le temps de formation », a expliqué Jiang. « Lancelot a trois rôles qui fonctionnent ensemble. Les clients s'entraînent sur leurs propres données et n'envoient que des mises à jour chiffrées des modèles. Le serveur central, qui suit les règles (honnêtes) mais peut être curieux, travaille directement sur les données chiffrées pour mesurer la similitude des mises à jour et les combiner. »

Dans le système de l'équipe, la clé secrète utilisée pour crypter et déchiffrer les données est stockée par un centre de génération de clés distinct et fiable. Ce centre décrypte uniquement les informations nécessaires pour classer les clients en fonction de leur fiabilité, puis renvoie un « masque » crypté (c'est-à-dire une liste cachée des clients qui doivent être inclus dans la formation du modèle). Cela permet finalement au serveur de regrouper des données fiables pour la formation du modèle sans savoir quels clients ont été choisis.

« L'idée centrale est ce tri crypté basé sur un masque : au lieu de faire des comparaisons lentes sur les données cryptées, le centre de confiance effectue le tri et renvoie uniquement la sélection cachée », a expliqué Jiang.

Pour rendre le système rapide, nous utilisons deux techniques cryptographiques simples mais puissantes. Premièrement, nous adoptons la relinéarisation paresseuse pour réduire le nombre de relinéarisations et ainsi diminuer la charge de calcul. Deuxièmement, le levage dynamique regroupe et parallélise les opérations répétées afin qu'elles s'exécutent plus efficacement. Nous transférons également les opérations chiffrées lourdes, telles que les multiplications polynomiales, vers des unités de traitement graphique pour un parallélisme à grande échelle. »

La conception unique proposée par ces chercheurs garantit en fin de compte que chaque mise à jour soumise par les clients reste confidentielle tout au long du processus d'apprentissage fédéré. Il a été constaté que cela protégeait leur système contre les clients malveillants ou erronés, tout en réduisant considérablement le temps nécessaire à la formation des modèles.

« Notre travail fournit le premier système pratique qui combine véritablement l'apprentissage fédéré robuste byzantin (BRFL) avec un cryptage entièrement homomorphique », a déclaré Jiang. « Au lieu d'effectuer de nombreuses comparaisons lentes sur les données chiffrées, nous utilisons un tri chiffré basé sur un masque : une partie de confiance classe les mises à jour du client et renvoie uniquement une liste de sélection chiffrée, afin que le serveur puisse combiner les bonnes mises à jour sans jamais voir qui a été choisi. Deux idées simples rendent cela efficace en pratique : la relinéarisation paresseuse reporte une étape cryptographique coûteuse jusqu'à la fin, et le levage dynamique regroupe et parallélise les opérations répétées ; En exécutant les lourdes mathématiques cryptées sur les unités de traitement graphique, ces changements réduisent le temps de traitement et déplacent les données dans la mémoire beaucoup plus rapidement. »

À l’avenir, le système d’apprentissage fédéré robuste byzantin développé par cette équipe de recherche pourrait être utilisé pour former des modèles pour diverses applications. Plus particulièrement, cela pourrait contribuer au développement d’outils d’IA susceptibles d’améliorer l’efficacité des opérations dans les hôpitaux, les banques et diverses autres organisations qui stockent des informations sensibles. Jiang et ses collègues travaillent actuellement à l'amélioration de Lancelot, qui en est encore à sa version pilote, afin qu'il puisse être étendu et déployé dans des contextes réels.

« En parallèle, nous explorons les CKKS à seuil et multi-clés pour renforcer le modèle de confiance sans exploser la bande passante ou la latence, tout en gardant l'apprentissage fédéré robuste et byzantin pratique à grande échelle », a ajouté Jiang. « Nous approfondissons également la combinaison avec la confidentialité différentielle et ajoutons une agrégation asynchrone et en cluster, afin que le système gère avec élégance les clients très hétérogènes et les réseaux instables. »