Une architecture combinant réseaux de neurones profonds et modèles vectoriels symboliques

Des chercheurs d’IBM Research Zürich et de l’ETH Zürich ont récemment créé une nouvelle architecture qui combine deux des approches d’intelligence artificielle les plus renommées, à savoir les réseaux de neurones profonds et les modèles vectoriels symboliques. Leur architecture, présentée dans Intelligence des machines naturellespourraient surmonter les limites de ces deux approches, en résolvant plus efficacement les matrices progressives et d’autres tâches de raisonnement.

« Notre récent article était basé sur nos travaux de recherche antérieurs visant à augmenter et à améliorer les réseaux de neurones avec la puissante machinerie des architectures vectorielles symboliques (VSA) », a déclaré Abbas Rahimi, l’un des chercheurs qui a mené une étude, à Tech Xplore. « Cette combinaison était auparavant appliquée à apprentissage en quelques coups ainsi que apprentissage continu en quelques coups tâches, atteignant une précision de pointe avec une complexité de calcul réduite. Dans notre récent article, nous portons ce concept au-delà de la perception, en nous concentrant sur la résolution de tâches de raisonnement abstrait visuel, en particulier les tests de QI largement utilisés connus sous le nom de matrices progressives de Raven. »

Les matrices progressives de Raven sont des tests non verbaux généralement utilisés pour tester le QI et les capacités de raisonnement abstrait des gens. Ils consistent en une série d’éléments présentés dans des ensembles, où un ou plusieurs éléments manquent.

Pour résoudre les matrices progressives de Raven, les répondants doivent identifier correctement les éléments manquants dans des ensembles donnés parmi quelques choix possibles. Cela nécessite des capacités de raisonnement avancées, telles que la capacité de détecter des relations abstraites entre des objets, qui pourraient être liées à leur forme, leur taille, leur couleur ou d’autres caractéristiques.

L’architecture neuro-vectorielle-symbolique (NVSA) développée par Rahimi et ses collègues combine des réseaux de neurones profonds, qui sont connus pour bien performer sur les tâches de perception, avec des machines VSA. Les VSA sont des modèles de calcul uniques qui effectuent des calculs symboliques à l’aide de vecteurs distribués de grande dimension.

« Bien que notre approche puisse ressembler un peu à des approches d’IA neuro-symbolique, l’IA neuro-symbolique a hérité des limites de leurs composants individuels d’apprentissage en profondeur et d’IA symbolique classique », a expliqué Rahimi. « Notre objectif principal est de remédier à ces limitations, à savoir le problème de liaison neuronale et la recherche exhaustive, dans NVSA en utilisant un langage commun entre les composants neuronaux et symboliques. »

La combinaison de réseaux de neurones profonds et de VSA de l’équipe a été prise en charge par deux principales caractéristiques de conception d’architecture. Ceux-ci incluent un nouveau processus de formation de réseau neuronal et une méthode pour effectuer des transformations VSA.

« Nous avons développé deux catalyseurs clés de notre architecture », a déclaré Rahimi. « La première est l’utilisation d’une nouvelle méthode de formation de réseau neuronal comme moyen flexible d’apprentissage de la représentation sur VSA. La seconde est une méthode pour obtenir des transformations VSA appropriées de sorte que des calculs et des recherches de probabilité exhaustifs puissent être remplacés par des opérations algébriques plus simples dans le VSA. espace vectoriel. »

Lors des premières évaluations, l’architecture développée par Rahimi et ses collègues a obtenu des résultats très prometteurs, résolvant les matrices progressives de Raven plus rapidement et plus efficacement que d’autres architectures développées dans le passé. Plus précisément, il a obtenu de meilleurs résultats que les réseaux de neurones profonds de pointe et les approches d’IA neuro-symbolique, atteignant de nouveaux records de précision de 87,7 % sur l’ensemble de données RAVEN et de 88,1 % sur l’ensemble de données I-RAVEN.

« Pour résoudre un test Raven, quelque chose appelé abduction probabiliste est nécessaire, un processus qui implique la recherche d’une solution dans un espace défini par des connaissances préalables sur le test », a déclaré Rahimi. « La connaissance préalable est représentée sous forme symbolique en décrivant toutes les réalisations de règles possibles qui pourraient régir les tests de Raven. L’approche de raisonnement purement symbolique doit passer par toutes les combinaisons valides, calculer la probabilité de la règle et les résumer. Cette recherche devient un calcul goulot d’étranglement dans le grand espace de recherche, en raison d’un grand nombre de combinaisons qu’il serait prohibitif de tester. »

Contrairement aux architectures existantes, NVSA peut effectuer des calculs probabilistes étendus en une seule opération vectorielle. Cela lui permet à son tour de résoudre des problèmes de raisonnement abstrait et liés à l’analogie, tels que les matrices progressives de Raven, plus rapidement et plus précisément que d’autres approches d’IA basées sur des réseaux de neurones profonds ou des VSA seuls.

« Notre approche aborde également le problème de la liaison neuronale, permettant à un seul réseau neuronal de reconnaître séparément les propriétés distinctes de plusieurs objets simultanément dans une scène », a déclaré Rahimi. « Dans l’ensemble, NVSA offre un raisonnement transparent, rapide et efficace ; et c’est le tout premier exemple montrant comment le raisonnement probabiliste (en tant qu’amélioration du raisonnement logique pur) peut être efficacement effectué par des représentations distribuées et des opérateurs de VSA. Par rapport au raisonnement symbolique de approches neuro-symboliques, le raisonnement probabiliste de NVSA est deux ordres de grandeur plus rapide, avec des opérations moins coûteuses sur les représentations distribuées. »

La nouvelle architecture créée par cette équipe s’est jusqu’à présent révélée très prometteuse pour résoudre efficacement et rapidement des tâches de raisonnement complexes. À l’avenir, il pourrait être testé et appliqué à divers autres problèmes, tout en inspirant potentiellement le développement d’autres approches similaires.

« NVSA est une étape importante vers l’encapsulation de différents paradigmes d’IA dans un cadre unifié pour traiter des tâches impliquant à la fois la perception et le raisonnement de niveau supérieur », a ajouté Rahimi. « Il est intéressant de noter que NVSA a déjà montré des degrés de généralisation à diverses combinaisons inédites d’objets et d’attributs d’objets. Une généralisation plus poussée dans cette direction reste un problème ouvert. »