Correction des biais dans les modèles générateurs d'images

Les modèles générateurs d’images – des systèmes qui produisent de nouvelles images basées sur des descriptions textuelles – sont devenus un phénomène courant et bien connu au cours de l’année écoulée. Leur amélioration continue, s’appuyant en grande partie sur les développements dans le domaine de l’intelligence artificielle, en fait une ressource importante dans divers domaines.

Pour obtenir de bons résultats, ces modèles sont entraînés sur un grand nombre de paires image-texte, par exemple en faisant correspondre le texte « image d'un chien » à une image d'un chien, répétée des millions de fois. Grâce à cette formation, le modèle apprend à générer des images originales de chiens.

Cependant, comme le notent Hadas Orgad, doctorant à la Faculté d'informatique Henry et Marilyn Taub, et Bahjat Kawar, diplômé de la même Faculté, « comme ces modèles sont formés sur de nombreuses données du monde réel, ils acquièrent et internaliser les hypothèses sur le monde pendant le processus de formation.

« Certaines de ces hypothèses sont utiles, par exemple « le ciel est bleu », et elles nous permettent d'obtenir de belles images même avec des descriptions courtes et simples. D'un autre côté, le modèle code également des hypothèses incorrectes ou non pertinentes sur le monde, ainsi que les préjugés sociétaux. Par exemple, si nous demandons à Stable Diffusion (un générateur d'images très populaire) une photo d'un PDG, nous n'obtiendrons des photos de femmes que dans 4 % des cas.

Un autre problème auquel ces modèles sont confrontés est le nombre important de changements qui se produisent dans le monde qui nous entoure. Les modèles ne peuvent pas s'adapter aux changements après le processus de formation.

Comme l'explique Dana Arad, également doctorante à la Faculté d'informatique de Taub, « au cours de leur processus de formation, les modèles acquièrent également beaucoup de connaissances factuelles sur le monde. Par exemple, les modèles apprennent l'identité des chefs d'État, des présidents, et même des acteurs qui incarnent des personnages populaires dans des séries télévisées.

« Ces modèles ne sont plus mis à jour après leur processus de formation, donc si nous demandons aujourd'hui à un modèle de générer une image du président des États-Unis, nous pourrions quand même raisonnablement recevoir une image de Donald Trump, qui n'a bien sûr pas été président. ces dernières années. Nous voulions développer un moyen efficace de mettre à jour les informations sans recourir à des actions coûteuses.

La solution « traditionnelle » à ces problèmes est la correction constante des données par l'utilisateur, le recyclage ou le réglage fin. Cependant, ces correctifs entraînent des coûts élevés sur le plan financier, en termes de charge de travail, en termes de qualité des résultats et en termes d'aspects environnementaux (en raison du fonctionnement plus long des serveurs informatiques). De plus, la mise en œuvre de ces méthodes ne garantit pas le contrôle des hypothèses indésirables ou des nouvelles hypothèses qui pourraient survenir. « Par conséquent », expliquent-ils, « nous aimerions disposer d'une méthode précise pour contrôler les hypothèses codées par le modèle. »

Les méthodes développées par les doctorants sous la direction du Dr Yonatan Belinkov répondent à ce besoin. La première méthode, développée par Orgad et Kawar et appelée TIME (Text-to-Image Model Editing), permet de corriger rapidement et efficacement les biais et les hypothèses.

La raison en est que la correction ne nécessite pas d'affinement, de recyclage ou de modification du modèle linguistique ni de modification des outils d'interprétation du texte, mais seulement une réédition partielle d'environ 1,95 % des paramètres du modèle. De plus, le même processus d’édition est effectué en moins d’une seconde.

Dans une recherche en cours basée sur TIME, appelée UCE, qui a été développée en collaboration avec les universités Northeastern et MIT, ils ont proposé un moyen de contrôler une variété de comportements éthiques indésirables du modèle, tels que la violation du droit d'auteur ou les préjugés sociaux, en supprimant les associations indésirables. du modèle tel que le contenu offensant ou les styles artistiques de différents artistes.

Une autre méthode, développée par la suite par Arad et Orgad, s'appelle ReFACT. Il propose un algorithme différent pour l'édition des paramètres et obtient des résultats plus précis.

ReFACT modifie un pourcentage encore plus faible des paramètres du modèle (seulement 0,25 %) et parvient à effectuer une plus grande variété de modifications, même dans les cas où les méthodes précédentes ont échoué. Cela tout en conservant la qualité des images ainsi que les faits et hypothèses du modèle que nous souhaitons préserver.

Les méthodes reçoivent des entrées de l'utilisateur concernant un fait ou une hypothèse qu'il souhaite modifier. Par exemple, dans le cas d'hypothèses implicites, la méthode reçoit une « source » sur laquelle le modèle base les hypothèses implicites (par exemple, « roses rouges », par défaut le modèle suppose des roses rouges) et une « cible » qui décrit les mêmes circonstances mais avec les caractéristiques souhaitées (par exemple, « roses bleues »).

Lorsque vous souhaitez utiliser la méthode pour l'édition de rôles, la méthode reçoit une demande d'édition (par exemple, « Président des États-Unis »), puis une « source » et une « cible » (« Donald Trump » et « Joe Biden », respectivement). . Les chercheurs ont collecté environ 200 travaux et hypothèses sur lesquels ils ont testé les méthodes d'édition et ont montré qu'il s'agissait de méthodes efficaces pour mettre à jour les informations et corriger les biais.

TIME a été présenté en octobre 2023 lors de la conférence ICCV, une conférence dans le domaine de la vision par ordinateur et de l'apprentissage automatique. L'UCE a été récemment présentée à la conférence WACV.

ReFACT a été présenté au Mexique lors de la conférence NAACL, une conférence sur la recherche sur le traitement du langage naturel.