La méthode de test d’effort détecte quand les modèles de reconnaissance d’objets utilisent des raccourcis

Une nouvelle méthode de « test de stress » créée par un chercheur de Georgia Tech permet aux programmeurs de déterminer plus facilement si les modèles de reconnaissance visuelle entraînés sont sensibles aux changements d’entrée ou s’appuient trop sur des indices contextuels pour effectuer leurs tâches.

Viraj Prabhu, un doctorat. étudiant à la Georgia Tech’s School of Interactive Computing, a introduit la méthode LANCE (Language-Guided Counterfactuals) dans un article de recherche récent publié sur le serveur de prépublication arXiv Cela montre à quel point les modèles de reconnaissance d’objets profonds sont enclins à prendre des raccourcis à travers des indices contextuels pour produire des images.

Idéalement, les modèles devraient comprendre exactement ce qu’ils sont invités à rechercher, a déclaré Prabhu, mais en raison d’une fausse corrélation, ils ont tendance à utiliser des informations non pertinentes dans les images lorsqu’ils font des prédictions.

Prabhu a utilisé LANCE pour tester des modèles bien connus qui ont été formés sur la base de données d’images ImageNet. En collaboration avec la professeure adjointe Judy Hoffman et les co-auteurs Sriram Yenamandra et Prithvijit Chattopadhyay, il a découvert de nombreux cas dans lesquels les modèles dépendaient trop du contexte dans les images qu’ils produisaient.

Dans certains exemples, les modèles ont montré qu’ils utilisaient la météo en arrière-plan pour classer les images plutôt que de reconnaître l’objet d’intérêt.

Lors d’un autre test de résistance, Prabhu a mis les modèles au défi de classer les images avec des ceintures de sécurité. Toutes les images de test contenaient des ceintures de sécurité à l’intérieur des voitures. Lorsque Prabhu a généré de nouvelles images en modifiant les paramètres en « ceintures de sécurité dans un bus », les performances et la précision des modèles entraînés ont chuté. Cela suggérait que les modèles pensaient que les ceintures de sécurité étaient exclusives aux voitures.

« Quand un modèle réussit quelque chose, le fait-il parce qu’il le comprend vraiment, ou détecte-t-il certains indices contextuels et s’appuie-t-il sur eux ? » dit Prabhu.

« Il n’y a aucune raison de se fier au type de véhicule pour savoir s’il y a une ceinture de sécurité, mais les modèles le font souvent. C’est plus généralement connu sous le nom de biais de modèle ou de faux problème de corrélation. »

Les modèles présentaient les mêmes défauts lorsque Prabhu utilisait LANCE pour tester des images de traîneaux à chiens. Les modèles associaient presque exclusivement les traîneaux à chiens aux Huskies, les amenant à concentrer leurs recherches sur la race la plus associée aux traîneaux.

Prabhu a déclaré que les invites données aux modèles ont été générées en affinant LLaMA, un modèle en grand langage créé par Meta AI, tout en utilisant des données de formation générées automatiquement par ChatGPT d’Open AI. Pour une image de quelqu’un faisant du vélo, il a généré une légende à l’aide d’un système de sous-titrage automatisé. Ensuite, il a utilisé le LLaMA affiné pour apporter une modification structurée à la légende, en ne modifiant qu’un seul concept à la fois.

« Cela changerait » une personne faisant du vélo « en » une personne portant un vélo « , puis nous le transmettrions au modèle génératif et l’utiliserions pour générer une nouvelle image sans rien changer d’autre », a-t-il déclaré. « En utilisant une technique d’édition ciblée récemment introduite par Google Research basée sur le réglage d’invite à invite, nous ne pouvons désormais modifier que la relation entre la personne et le vélo. Ensuite, nous obtenons une image d’une personne portant un vélo, tout le reste étant identique. Maintenant, nous pouvons l’utiliser comme image de test contrefactuelle.  »

Cela permet à Prabhu de comparer la nouvelle prédiction du modèle à l’original. Si la prédiction a changé, il est probable que le modèle repose sur de fausses corrélations.

Prabhu a déclaré que la méthode LANCE peut être appliquée à grande échelle pour tout nouvel ensemble de données.

La fausse corrélation est un maillon faible connu pour les modèles d’apprentissage en profondeur, mais Prabhu a déclaré que l’avantage de LANCE est qu’il permet aux programmeurs de sonder leurs modèles pour ces faiblesses avant le déploiement.

Traditionnellement, ces modèles sont formés par des méthodes axées sur les objectifs dans lesquelles les modèles reçoivent des points pour afficher l’image correcte et perdent des points pour les avoir mal. Prabhu a déclaré que c’est la raison la plus probable pour laquelle l’intelligence artificielle dans les modèles essaie de trouver des raccourcis, comme l’utilisation d’indices contextuels, pour atteindre leurs objectifs.

Les implications s’étendent également au-delà du diagnostic des modèles de reconnaissance d’objets formés sur ImageNet. LANCE peut être appliqué à la technologie de vision par ordinateur utilisée dans les véhicules autonomes, qui doivent être aussi infaillibles que possible avant d’être déployés sur la route.

« Dans les applications à enjeux élevés comme la conduite autonome, les gens utilisent des approches discriminatoires : vous disposez d’un système de détection d’objets qui peut détecter les voitures et les piétons et dessiner des boîtes autour d’eux », a déclaré Prabhu. « En utilisant LANCE, nous pouvons sonder ces modèles discriminatifs à l’aide d’approches génératives et les améliorer. L’espoir est que nous pourrons découvrir les échecs avant qu’ils ne surviennent. »