La puce de calcul en mémoire est prometteuse pour une efficacité et une confidentialité améliorées dans les systèmes d'apprentissage fédérés

Au cours des dernières décennies, les informaticiens ont développé des techniques d'apprentissage automatique de plus en plus avancées qui peuvent apprendre à prédire des modèles spécifiques ou à effectuer des tâches efficacement en analysant de grandes quantités de données. Pourtant, certaines études ont mis en évidence les vulnérabilités de certains outils basés sur l'IA, démontrant que les informations sensibles qu'elles sont alimentées pourraient être potentiellement accessibles par des tiers malveillants.

Une approche d'apprentissage automatique qui pourrait fournir une plus grande confidentialité des données est un apprentissage fédéré, qui implique la formation collaborative d'un réseau de neurones partagé par divers utilisateurs ou parties qui ne sont pas tenus d'échanger des données brutes entre elles. Cette technique pourrait être particulièrement avantageuse lorsqu'elle est appliquée dans des secteurs qui peut bénéficier de l'IA mais qui sont connues pour stocker des données utilisateur très sensibles, telles que les soins de santé et la finance.

Des chercheurs de l'Université de Tsinghua, du China Mobile Research Institute et de l'Université Hebei ont récemment développé une nouvelle puce de calcul en mémoire pour l'apprentissage fédéré, qui est basé sur des memristors, des composants électroniques non volatils qui peuvent à la fois effectuer des calculs et stocker des informations, en adaptant leur résistance basée sur le courant électrique qui les a traversés par le passé. Leur puce proposée, décrite dans un article publié dans Nature électroniques'est avéré augmenter à la fois l'efficacité et la sécurité des approches d'apprentissage fédérées.

« L'apprentissage fédéré fournit un cadre pour que plusieurs participants forment collectivement un réseau neuronal tout en maintenant la confidentialité des données, et est généralement réalisé grâce à un chiffrement homomorphe », a écrit Xueqi Li, Bin Gao et leurs collègues dans leur article. « Cependant, la mise en œuvre de cette approche à un bord local nécessite la génération de clés, la génération polynomiale d'erreur et le calcul étendu, ce qui entraîne une consommation de temps et d'énergie substantielle.

« Nous rapportons une architecture de puce de calcul Memristor avec une fonction physique impondable in situ pour la génération de clés et un générateur de nombres aléatoires réel in situ pour la génération polynomiale d'erreur. »

Comme il peut à la fois effectuer des calculs et stocker des informations, la nouvelle architecture basée sur Memristor proposée par les chercheurs pourrait réduire le mouvement des données et ainsi limiter l'énergie requise pour que différentes parties forment collectivement un réseau neuronal artificiel (ANN) via l'apprentissage fédéré.

La puce de l'équipe comprend également une fonction physique implicable, une technique basée sur le matériel pour générer des clés sécurisées pendant la communication cryptée, ainsi qu'un véritable générateur de nombres aléatoires, une méthode pour produire des nombres imprévisibles pour le cryptage.

« Notre architecture – qui comprend une méthode de fonctionnement de réseau de formulaires concurrente, une conception de circuits d'extraction d'entropie par calcul en calcul et un schéma de codage basé sur le système de résidus redondant – alloque un faible calcul de débit d'erreur, la même fonction physique et les circuits périphériques, » a écrit les chercheurs.

« Pour illustrer la fonctionnalité de cet apprentissage fédéré basé sur des memristors, nous avons mené une étude de cas dans laquelle quatre participants co-entraînent un réseau de mémoire à long terme à deux couches avec 482 poids pour la prédiction de la septicémie. »

Pour évaluer le potentiel de leur puce de calcul en mémoire, les chercheurs l'ont utilisé pour permettre la formation collective d'un long réseau de mémoire à court terme, une technique d'apprentissage en profondeur souvent utilisé pour faire des prédictions basées sur des données séquentielles, des textes ou des dossiers médicaux, par quatre participants humains. Les quatre participants ont formé ce réseau pour prédire la septicémie, une condition médicale grave et potentiellement mortelle émergeant d'infections graves, sur la base des données de santé des patients.

« La précision du test sur le tableau de 128 kb memristor n'est que de 0,12% inférieure à celle obtenue avec l'apprentissage centralisé des logiciels », ont écrit les auteurs. « Notre approche présente également une réduction de l'énergie et de la consommation de temps par rapport à l'apprentissage conventionnel fédéré numérique. »

Dans l'ensemble, les résultats de cette étude récente mettent en évidence le potentiel des architectures informatiques en mémoire basées sur des memristors pour améliorer l'efficacité et la confidentialité des implémentations d'apprentissage fédérées. À l'avenir, la puce développée par Li, Gao et leurs collègues pourraient être améliorées davantage et utilisées pour co-entraîner d'autres algorithmes d'apprentissage en profondeur sur une variété de tâches du monde réel.