Comment les artistes sabotent l’IA pour se venger des générateurs d’images

Imagine ça. Vous avez besoin d’une image de ballon pour une présentation de travail et vous tournez vers un générateur de texte en image, comme Midjourney ou DALL-E, pour créer une image appropriée.

Vous entrez l’invite : « Ballon rouge sur un ciel bleu », mais le générateur renvoie à la place l’image d’un œuf. Vous réessayez, mais cette fois, le générateur affiche l’image d’une pastèque.

Que se passe-t-il?

Le générateur que vous utilisez a peut-être été « empoisonné ».

Qu’est-ce que « l’empoisonnement des données » ?

Les générateurs de texte en image fonctionnent en étant formés sur de grands ensembles de données comprenant des millions ou des milliards d’images. Certains générateurs, comme ceux proposés par Adobe ou Getty, ne sont formés qu’avec les images que le créateur du générateur possède ou dispose d’une licence d’utilisation.

Mais d’autres générateurs ont été formés en récupérant sans discernement des images en ligne, dont beaucoup peuvent être protégées par le droit d’auteur. Cela a conduit à une multitude de cas de violation du droit d’auteur dans lesquels des artistes ont accusé de grandes entreprises technologiques d’avoir volé et profité de leur travail.

C’est également là qu’intervient l’idée de « poison ». Des chercheurs qui souhaitent responsabiliser les artistes individuels ont récemment créé un outil nommé « Nightshade » pour lutter contre le grattage d’images non autorisé.

L’outil fonctionne en modifiant subtilement les pixels d’une image d’une manière qui fait des ravages dans la vision par ordinateur mais laisse l’image inchangée aux yeux d’un humain.

Si une organisation récupère ensuite l’une de ces images pour former un futur modèle d’IA, son pool de données devient « empoisonné ». Cela peut amener l’algorithme à apprendre par erreur à classer une image comme quelque chose qu’un humain saurait visuellement être faux. En conséquence, le générateur peut commencer à renvoyer des résultats imprévisibles et involontaires.

Symptômes d’empoisonnement

Comme dans notre exemple précédent, un ballon pourrait devenir un œuf. Une demande d’image dans le style de Monet pourrait plutôt renvoyer une image dans le style de Picasso.

Certains des problèmes rencontrés avec les modèles d’IA antérieurs, tels que des problèmes de rendu précis des mains, par exemple, pourraient réapparaître. Les modèles pourraient également introduire d’autres caractéristiques étranges et illogiques dans les images – pensez à des chiens à six pattes ou à des canapés déformés.

Plus le nombre d’images « empoisonnées » dans les données d’entraînement est élevé, plus la perturbation est importante. En raison du fonctionnement de l’IA générative, les dommages causés par les images « empoisonnées » affectent également les mots-clés d’invite associés.

Par exemple, si une image « empoisonnée » d’une Ferrari est utilisée dans les données d’entraînement, les résultats rapides pour d’autres marques de voitures et pour d’autres termes associés, tels que véhicule et automobile, peuvent également être affectés.

Le développeur de Nightshade espère que l’outil rendra les grandes entreprises technologiques plus respectueuses du droit d’auteur, mais il est également possible que les utilisateurs abusent de l’outil et téléchargent intentionnellement des images « empoisonnées » sur des générateurs pour tenter de perturber leurs services.

Existe-t-il un antidote ?

En réponse, les acteurs ont proposé toute une gamme de solutions technologiques et humaines. Le plus évident est d’accorder une plus grande attention à l’origine des données d’entrée et à la manière dont elles peuvent être utilisées. Cela entraînerait une collecte de données moins aveugle.

Cette approche remet en question une croyance commune parmi les informaticiens : selon laquelle les données trouvées en ligne peuvent être utilisées à toutes fins qu’ils jugent appropriées.

D’autres solutions technologiques incluent également l’utilisation de la « modélisation d’ensemble » dans laquelle différents modèles sont formés sur de nombreux sous-ensembles de données différents et comparés pour localiser des valeurs aberrantes spécifiques. Cette approche peut être utilisée non seulement pour la formation, mais également pour détecter et éliminer les images suspectées d’être « empoisonnées ».

Les audits sont une autre option. Une approche d’audit consiste à développer une « batterie de tests » (un petit ensemble de données hautement organisé et bien étiqueté) en utilisant des données « conservées » qui ne sont jamais utilisées pour la formation. Cet ensemble de données peut ensuite être utilisé pour examiner l’exactitude du modèle.

Stratégies contre la technologie

Les soi-disant « approches contradictoires » (celles qui dégradent, nient, trompent ou manipulent les systèmes d’IA), y compris l’empoisonnement des données, ne sont pas nouvelles. Ils ont également historiquement utilisé du maquillage et des costumes pour contourner les systèmes de reconnaissance faciale.

Les militants des droits de l’homme, par exemple, s’inquiètent depuis un certain temps de l’utilisation aveugle de la vision industrielle dans la société au sens large. Cette préoccupation est particulièrement aiguë concernant la reconnaissance faciale.

Des systèmes comme Clearview AI, qui héberge une énorme base de données consultable de visages récupérés sur Internet, sont utilisés par les forces de l’ordre et les agences gouvernementales du monde entier. En 2021, le gouvernement australien a déterminé que Clearview AI avait violé la vie privée des Australiens.

En réponse aux systèmes de reconnaissance faciale utilisés pour profiler des individus spécifiques, y compris des manifestants légitimes, les artistes ont conçu des modèles de maquillage contradictoires constitués de lignes irrégulières et de courbes asymétriques qui empêchent les systèmes de surveillance de les identifier avec précision.

Il existe un lien évident entre ces cas et la question de l’empoisonnement des données, dans la mesure où les deux concernent des questions plus vastes autour de la gouvernance technologique.

De nombreux fournisseurs de technologies considèrent l’empoisonnement des données comme un problème embêtant qui doit être résolu par des solutions technologiques. Cependant, il serait peut-être préférable de considérer l’empoisonnement des données comme une solution innovante à une intrusion dans les droits moraux fondamentaux des artistes et des utilisateurs.