Le rôle de l'entropie dans les modèles de langage sécurisé

Les modèles de grands langues (LLM) sont rapidement devenus une partie intégrante de notre paysage numérique, alimentant tout, des chatbots aux générateurs de code. Cependant, comme ces systèmes d’IA reposent de plus en plus sur des modèles propriétaires et hébergés par le cloud, les préoccupations concernant la confidentialité des utilisateurs et la sécurité des données ont augmenté. Comment exploiter la puissance de l’IA sans exposer les données sensibles?

Une étude récente, «Entropy-Guided Attention for Private LLMS», par Nandan Kumar Jha, un doctorat. Le candidat au NYU Center for Cybersecurity (CCS), et Brandon Reagen, professeur adjoint au Département de génie électrique et informatique et membre du CCS, présente une nouvelle approche pour rendre l’IA plus sécurisée.

Le document a été présenté à l’atelier AAAI sur l’intelligence artificielle préservant la vie privée (PPAI 25) début mars et est disponible sur la arxiv serveur de préimprimée.

Les chercheurs se plongent dans une propriété fondamentale, mais souvent négligée, des réseaux de neurones: l’entropie – la mesure de l’incertitude de l’information dans un système. Leur travail propose qu’en comprenant le rôle de l’entropie dans les architectures d’IA, nous pouvons améliorer la confidentialité, l’efficacité et la fiabilité des LLM.

Le paradoxe de la vie privée dans l’IA

Lorsque nous interagissons avec les modèles d’IA – que ce soit en demandant à un assistant virtuel de conseils médicaux ou en utilisant des outils de recherche juridique propulsés par l’IA – nos données d’entrée sont généralement traitées dans le cloud. Cela signifie que les requêtes utilisateur, même si elles sont chiffrées en transit, sont finalement déchiffrées pour le traitement par le modèle. Cela présente un risque fondamental de confidentialité: les données sensibles pourraient être exposées, involontairement par des fuites ou par malveillance via des cyberattaques.

Pour concevoir des LLM privées efficaces, les chercheurs doivent repenser l’architecture sur lesquels ces modèles sont construits. Cependant, le simple fait de supprimer les non-linéarités déstabilise l’entraînement et perturbe la fonctionnalité centrale de composants comme le mécanisme d’attention.

« Les non-linéarités sont l’élément vital des réseaux de neurones », explique Jha. « Ils permettent aux modèles d’apprendre des représentations riches et de capturer des modèles complexes. »

Le domaine de l’inférence privée (PI) vise à résoudre ce problème en permettant aux modèles d’IA de fonctionner directement sur des données cryptées, garantissant que ni l’utilisateur ni le fournisseur de modèles ne voit jamais l’entrée brute. Cependant, PI est livré avec des coûts de calcul importants. Les méthodes de chiffrement qui protègent la confidentialité rendent également le calcul plus complexe, conduisant à une latence et à une consommation d’énergie plus élevées – deux obstacles principaux au déploiement pratique.

Pour relever ces défis, les recherches de JHA et Reagen se concentrent sur les transformations non linéaires dans les modèles d’IA. Dans l’apprentissage en profondeur, des fonctions non linéaires comme les fonctions d’activation jouent un rôle crucial dans la formation de la façon dont les modèles traitent les informations. Les chercheurs explorent comment ces non-linéarités affectent l’entropie, en particulier, la diversité des informations transmise à travers différentes couches d’un modèle de transformateur.

« Notre travail relève directement ce défi et adopte une approche fondamentalement différente de la vie privée », explique Jha. « Il supprime les opérations non linéaires tout en préservant autant de fonctionnalités du modèle que possible. »

En utilisant l’entropie de Shannon comme mesure quantitative, ils révèlent deux modes de défaillance clés qui se produisent lorsque la non-linéarité est supprimée:

Entropie effondrement (couches profondes): En l’absence de non-linéarité, les couches ultérieures du réseau ne retiennent pas des informations utiles, conduisant à une formation instable.
Surcharge entropique (couches précoces): Sans contrôle d’entropie approprié, les couches antérieures ne parviennent pas à utiliser efficacement le mécanisme d’attention multi-tête (MHA), réduisant la capacité du modèle à capturer diverses représentations.

Cette perspicacité est nouvelle – il suggère que l’entropie n’est pas seulement une abstraction mathématique mais un principe de conception clé qui détermine si un modèle peut fonctionner correctement.

Un nouveau plan d’IA

Armés de ces résultats, les chercheurs proposent un mécanisme d’attention guidé par l’entropie qui régule dynamiquement le flux d’informations dans les modèles de transformateurs. Leur approche consiste en une régularisation d’entropie – une nouvelle technique qui empêche les premières couches d’être submergées par des informations excessives et une normalisation conviviale – des méthodes alternatives à la normalisation standard des couches qui aident à stabiliser la formation tout en préservant la confidentialité.

En régulant stratégiquement l’entropie des distributions d’attention, ils ont pu maintenir un comportement cohérent et entraînable même dans des modèles radicalement simplifiés, ce qui garantit que les poids d’attention restent significatifs, évitant qui entravent la capacité du modèle à se concentrer et à généraliser.

Ce travail comble l’écart entre la théorie de l’information et la conception architecturale, établissant la dynamique de l’entropie comme guide de principe pour développer des LLM préservant efficaces. Il représente une étape cruciale pour rendre l’IA préservant la confidentialité plus pratique et plus efficace dans les applications du monde réel. En combler l’écart entre la théorie de l’information et la conception de l’architecture neuronale, leur travail offre une feuille de route pour développer des modèles d’IA qui sont non seulement plus privés mais aussi efficaces par le calcul.

L’équipe a également ouvert sa mise en œuvre, invitant les chercheurs et les développeurs à expérimenter leur approche guidée par l’entropie.