Le droit à l’oubli à l’ère de l’IA

Plus tôt cette année, ChatGPT a été brièvement interdit en Italie en raison d’une violation présumée de la vie privée. Pour aider à renverser l’interdiction, la société mère du chatbot, OpenAI, s’est engagée à fournir aux citoyens un moyen de s’opposer à l’utilisation de leurs données personnelles pour former des modèles d’intelligence artificielle (IA).

La loi RTBF (droit à l’oubli) joue un rôle important dans le droit à la vie privée en ligne de certains pays. Il donne aux individus le droit de demander aux entreprises technologiques de supprimer leurs données personnelles. Il a été établi via une affaire historique dans l’Union européenne (UE) impliquant des moteurs de recherche en 2014.

Mais une fois qu’un citoyen s’oppose à l’utilisation de ses données personnelles dans le cadre de la formation en IA, que se passe-t-il ensuite ? Il s’avère que ce n’est pas si simple.

Notre chercheur en cybersécurité Thierry Rakotoarivelo est co-auteur d’un article récent sur le désapprentissage automatique publié sur le arXiv serveur de préimpression. Il explique qu’appliquer le RTBF aux grands modèles de langage (LLM) comme ChatGPT est beaucoup plus difficile que les moteurs de recherche.

« Si un citoyen demande que ses données personnelles soient supprimées d’un moteur de recherche, les pages Web pertinentes peuvent être supprimées de la liste et supprimées des résultats de recherche », a déclaré Rakotoarivelo.

« Pour les LLM, c’est plus complexe, car ils n’ont pas la capacité de stocker des données personnelles ou des documents spécifiques, et ils ne peuvent pas récupérer ou oublier des informations spécifiques sur commande. »

Alors, comment fonctionnent les LLM ?

Les LLM génèrent des réponses basées sur des modèles qu’ils ont appris à partir d’un vaste ensemble de données au cours de leur processus de formation.

« Ils ne recherchent pas sur Internet ni n’indexent les sites Web pour trouver des réponses. Au lieu de cela, ils prédisent le mot suivant dans une réponse en fonction du contexte, des modèles et des relations entre les mots fournis par la requête », a déclaré Rakotoarivelo.

David Zhang, un autre de nos principaux chercheurs en cybersécurité, est le premier auteur de Right to be Forgotten in the Era of Large Language Models: Implications, Challenges, and Solutions. Il a une grande analogie avec la façon dont les humains utilisent également les données d’entraînement qu’ils ont apprises pour la génération de la parole.

« Tout comme les Australiens peuvent prédire qu’après ‘Aussie, Aussie, Aussie’ viendra ‘oi, oi, oi’ sur la base des données d’entraînement des matchs sportifs internationaux, les LLM utilisent leurs données d’entraînement pour prédire quoi dire ensuite », a déclaré Zhang. .

« Leur objectif est de générer un texte de type humain, pertinent pour la question et qui a du sens. De cette manière, un LLM ressemble plus à un générateur de texte qu’à un moteur de recherche. Ses réponses ne sont pas récupérées à partir d’une base de données consultable, mais plutôt générées en fonction de la question. sur ses connaissances acquises.

Est-ce pour cela que les LLM hallucinent ?

Lorsqu’un LLM produit des réponses incorrectes aux invites, on dit qu’il est « hallucinant ». Cependant, Zhang dit que les hallucinations sont la façon dont les LLM font tout.

« L’hallucination n’est pas un bug des grands modèles linguistiques, mais plutôt une fonctionnalité basée sur leur conception », a déclaré Zhang.

« Ils n’ont pas non plus accès aux données en temps réel ou aux mises à jour après la fin de leur formation, ce qui peut conduire à générer des informations obsolètes ou incorrectes. »

Comment faire oublier les LLM ?

Le désapprentissage automatique est actuellement l’application leader pour permettre aux LLM d’oublier les données d’entraînement, mais il est complexe. Si complexe, en fait, que Google a lancé un défi aux chercheurs du monde entier pour faire progresser cette solution.

Une approche du désapprentissage automatique supprime des points de données exacts du modèle grâce à un recyclage accéléré de parties spécifiques du modèle. Cela évite d’avoir à recycler l’ensemble du modèle, ce qui est coûteux et prend du temps. Mais vous devez d’abord déterminer quelles parties du modèle doivent être recyclées, et cette approche segmentée pourrait générer des problèmes d’équité en supprimant des points de données potentiellement importants.

D’autres approches incluent des méthodes approximatives avec des moyens de vérifier, d’effacer et de prévenir la dégradation des données et les attaques contradictoires contre les algorithmes. Zhang et ses collègues suggèrent plusieurs approches temporaires, notamment l’édition du modèle pour apporter des correctifs rapides au modèle pendant qu’un meilleur correctif est développé ou qu’un nouveau modèle avec un ensemble de données modifié est en cours de formation.

Dans leur article, les chercheurs utilisent des incitations astucieuses pour faire oublier à un modèle un scandale célèbre, en lui rappelant que l’information est soumise à une demande de droit à l’oubli.

Le cas pour se souvenir et apprendre de ses erreurs

Les problèmes de confidentialité des données qui continuent de créer des problèmes pour les LLM auraient pu être évités si les concepts de développement responsable de l’IA avaient été intégrés tout au long du cycle de vie de l’outil.

Les LLM les plus connus sur le marché sont des « boîtes noires ». En d’autres termes, leur fonctionnement interne et la manière dont ils parviennent à des résultats ou à des décisions sont inaccessibles aux utilisateurs. L’IA explicable décrit des modèles dans lesquels les processus de prise de décision peuvent être suivis et compris par les humains (à l’opposé de l’IA « boîte noire »).

Lorsqu’elles sont utilisées correctement, l’IA explicable et les techniques d’IA responsable peuvent fournir un aperçu de la cause profonde de tout problème dans les modèles (car chaque étape est explicable), ce qui permet de trouver et de supprimer les problèmes. En utilisant ces principes et d’autres principes d’éthique de l’IA dans le développement de nouvelles technologies, nous pouvons contribuer à évaluer, enquêter et atténuer ces problèmes.