Une nouvelle méthode de comparaison des réseaux de neurones expose le fonctionnement de l’intelligence artificielle
Les chercheurs de Los Alamos étudient de nouvelles façons de comparer les réseaux de neurones. Cette image a été créée avec un logiciel d’intelligence artificielle appelé Stable Diffusion, en utilisant l’invite « Peeking into the black box of neural networks ». Crédit : Laboratoire national de Los Alamos
Une équipe du Laboratoire national de Los Alamos a développé une nouvelle approche pour comparer les réseaux de neurones qui regarde dans la « boîte noire » de l’intelligence artificielle pour aider les chercheurs à comprendre le comportement des réseaux de neurones. Les réseaux de neurones reconnaissent les modèles dans les ensembles de données ; ils sont utilisés partout dans la société, dans des applications telles que les assistants virtuels, les systèmes de reconnaissance faciale et les voitures autonomes.
« La communauté de recherche en intelligence artificielle n’a pas nécessairement une compréhension complète de ce que font les réseaux de neurones ; ils nous donnent de bons résultats, mais nous ne savons pas comment ni pourquoi », a déclaré Haydn Jones, chercheur au sein de l’Advanced Research in Cyber. Groupe Systèmes à Los Alamos. « Notre nouvelle méthode fait un meilleur travail de comparaison des réseaux de neurones, ce qui est une étape cruciale vers une meilleure compréhension des mathématiques derrière l’IA. »
Jones est l’auteur principal de l’article « Si vous en avez formé un, vous les avez tous formés : la similarité inter-architecture augmente avec la robustesse », qui a été présenté récemment à la conférence sur l’incertitude dans l’intelligence artificielle. En plus d’étudier la similarité des réseaux, l’article est une étape cruciale vers la caractérisation du comportement des réseaux de neurones robustes.
Les réseaux de neurones sont performants, mais fragiles. Par exemple, les voitures autonomes utilisent des réseaux de neurones pour détecter les panneaux. Lorsque les conditions sont idéales, ils le font très bien. Cependant, la plus petite aberration, comme un autocollant sur un panneau d’arrêt, peut amener le réseau neuronal à mal identifier le panneau et à ne jamais s’arrêter.
Pour améliorer les réseaux de neurones, les chercheurs cherchent des moyens d’améliorer la robustesse du réseau. Une approche de pointe consiste à « attaquer » les réseaux pendant leur processus de formation. Les chercheurs introduisent intentionnellement des aberrations et entraînent l’IA à les ignorer. Ce processus est appelé formation contradictoire et rend essentiellement plus difficile de tromper les réseaux.
Jones, les collaborateurs de Los Alamos, Jacob Springer et Garrett Kenyon, et le mentor de Jones, Juston Moore, ont appliqué leur nouvelle métrique de similarité de réseau à des réseaux neuronaux formés de manière contradictoire et ont découvert, de manière surprenante, que la formation contradictoire fait converger les réseaux de neurones dans le domaine de la vision par ordinateur. des représentations de données très similaires, quelle que soit l’architecture du réseau, à mesure que l’ampleur de l’attaque augmente.
« Nous avons constaté que lorsque nous entraînons des réseaux de neurones à être robustes contre les attaques adverses, ils commencent à faire les mêmes choses », a déclaré Jones.
Des efforts considérables ont été déployés dans l’industrie et dans la communauté universitaire à la recherche de la « bonne architecture » pour les réseaux de neurones, mais les conclusions de l’équipe de Los Alamos indiquent que l’introduction de la formation contradictoire réduit considérablement cet espace de recherche. En conséquence, la communauté de recherche en IA n’a peut-être pas besoin de passer autant de temps à explorer de nouvelles architectures, sachant que la formation contradictoire fait converger diverses architectures vers des solutions similaires.
« En découvrant que les réseaux de neurones robustes sont similaires les uns aux autres, nous facilitons la compréhension du fonctionnement réel de l’IA robuste. Nous pourrions même découvrir des indices sur la façon dont la perception se produit chez les humains et les autres animaux », a déclaré Jones.
