Une nouvelle méthode permet aux modèles d'IA d'oublier des données privées et protégées par le droit d'auteur
Une équipe d'informaticiens de UC Riverside a développé une méthode pour effacer les données privées et protégées par le droit d'auteur à partir de modèles d'intelligence artificielle, sans avoir accès aux données de formation originales.
Cette avancée, détaillée dans un article présenté en juillet à la Conférence internationale sur l'apprentissage automatique à Vancouver, au Canada, répond à une préoccupation mondiale croissante concernant les documents personnels et protégés par le droit d'auteur restant dans les modèles d'IA indéfiniment – et donc accessibles aux utilisateurs modèles – malgré les efforts des créateurs d'origine pour supprimer ou garder leurs informations avec des walls et des mots de passe.
L'étude a également été publiée sur le arxiv serveur de préimprimée.
L'innovation UCR oblige les modèles AI à « oublier » des informations sélectionnées tout en maintenant la fonctionnalité des modèles avec les données restantes. Il s'agit d'un progrès important qui peut modifier les modèles sans avoir à les recommencer avec les données de formation originales volumineuses, qui sont coûteuses et à forte intensité énergétique. L'approche permet également la suppression des informations privées des modèles d'IA même lorsque les données de formation d'origine ne sont plus disponibles.
« Dans les situations du monde réel, vous ne pouvez pas toujours revenir en arrière et obtenir les données originales », a déclaré ümit Yiğit Başaran, un doctorant en génie électrique et informatique de l'UCR et auteur principal de l'étude. « Nous avons créé un cadre certifié qui fonctionne même lorsque ces données ne sont plus disponibles. »
Le besoin est pressant. Les entreprises technologiques sont confrontées à de nouvelles lois sur la confidentialité, telles que la réglementation générale de la protection des données de l'Union européenne et la California Consumer Privacy Act, qui régissent la sécurité des données personnelles intégrées dans des systèmes d'apprentissage automatique à grande échelle.
De plus, le New York Times poursuit Openai et Microsoft sur l'utilisation de ses nombreux articles protégés par le droit d'auteur pour former des modèles génératifs de transformateur pré-formé ou GPT.
Les modèles AI « apprennent » les modèles de mots à partir de grandes quantités de texte grattées d'Internet. Lorsqu'ils sont interrogés, les modèles prédisent les combinaisons de mots les plus probables, générant des réponses en langue naturelle aux invites utilisateur. Parfois, ils génèrent des reproductions presque verbatim des textes de formation, permettant aux utilisateurs de contourner les murs de paie des créateurs de contenu.
L'équipe de recherche de l'UC Riverside – comprise Başaran, le professeur Amit Roy-Chowdhury et le professeur adjoint Başak Güler – ont développé ce qu'ils appellent une méthode « certifiée sans source ». La technique permet aux développeurs d'IA de supprimer les données ciblées en utilisant un ensemble de données substitut ou «substitut» qui ressemble statistiquement aux données d'origine.
Le système ajuste les paramètres du modèle et ajoute un bruit aléatoire soigneusement calibré pour garantir que les informations ciblées sont effacées et ne peuvent pas être reconstruites.
Leur cadre s'appuie sur un concept d'optimisation de l'IA qui se rapproche efficacement de la façon dont un modèle changerait s'il avait été recyclé à partir de zéro. L'équipe UCR a amélioré cette approche avec un nouveau mécanisme d'alibrations du bruit qui compense les écarts entre les ensembles de données d'origine et de substitution.
Les chercheurs ont validé leur méthode en utilisant des ensembles de données synthétiques et du monde réel et ont constaté qu'il fournissait des garanties de confidentialité proches de celles obtenues avec un recyclage complet – mais nécessitait beaucoup moins de puissance de calcul.
Le travail actuel s'applique à des modèles plus simples – toujours largement utilisés – mais pourrait éventuellement évoluer vers des systèmes complexes comme Chatgpt, a déclaré Roy-Chowdhury, codirecteur de l'Institut de recherche et d'éducation sur l'intelligence artificielle de Riverside de l'UCR et de l'institut de Marlan et Rosemary Bourns College of Engineering.
Au-delà de la conformité réglementaire, la technique est prometteuse pour les organisations de médias, les institutions médicales et autres qui gèrent des données sensibles intégrées dans des modèles d'IA, ont déclaré les chercheurs. Il pourrait également permettre aux gens d'exiger la suppression du contenu personnel ou protégé par le droit d'auteur des systèmes d'IA.
« Les gens méritent de savoir que leurs données peuvent être effacées des modèles d'apprentissage automatique – pas seulement en théorie, mais de manière pratiques pratiques », a déclaré Güler.
Les prochaines étapes de l'équipe consistent à affiner la méthode pour travailler avec des types de modèles et des ensembles de données plus complexes et des outils de construction pour rendre la technologie accessible aux développeurs d'IA dans le monde.
Le titre du document est « une approche certifiée désapprentissage sans accès aux données source ». Cela a été fait en collaboration avec SK Miraj Ahmed, associé de recherche en sciences informatiques au Brookhaven National Laboratory à Upton, NY qui a obtenu son doctorat à l'UCR.
Roy-Chowdhury et Güler sont tous deux membres du corps professoral du Département d'ingénierie électrique et informatique avec des nominations secondaires au Département d'informatique et d'ingénierie.
