Un moteur économe en énergie qui peut démêler les attributs visuels des objets

La plupart des humains sont naturellement capables d’identifier les attributs individuels des stimuli sensoriels, tels que les objets qu’ils voient, les sons qu’ils entendent, etc. Alors que les outils d’intelligence artificielle (IA) sont devenus de plus en plus efficaces pour reconnaître des objets spécifiques dans des images ou d’autres stimuli, ils sont souvent incapables de démêler leurs attributs individuels (par exemple, leur couleur, leur taille, etc.).

Des chercheurs d’IBM Research Zürich et de l’ETH Zürich ont récemment développé un moteur de calcul efficace qui déchiffre les attributs distincts d’un stimulus visuel. Ce moteur, présenté dans un article de Nanotechnologie de la naturepourrait finalement aider à résoudre les problèmes complexes du monde réel plus rapidement et plus efficacement.

« Nous avons travaillé sur le développement du concept d’architecture neuro-vectorielle symbolique (NVSA), qui offre à la fois des capacités de perception et de raisonnement dans un cadre unique », a déclaré Abbas Rahimi, l’un des chercheurs qui a mené l’étude, à Tech Xplore. « Dans un NVSA, la perception visuelle est en partie réalisée par un réseau profond dans lequel les représentations résultantes sont enchevêtrées de manière complexe, ce qui peut convenir à une tâche spécifique mais rend difficile la généralisation à des situations légèrement différentes. Par exemple, une représentation enchevêtrée d’un ‘petit triangle rouge’ ne peut pas révéler les attributs conceptuels de l’objet tels que sa couleur, sa taille, son type, etc. »

Pour surmonter les limitations des architectures NVSA existantes, Rahimi et ses collègues ont entrepris de créer un nouveau moteur qui pourrait démêler les représentations visuelles des objets dans les images, représentant leurs attributs séparément. Ce moteur, surnommé « factoriseur en mémoire », est basé sur une variante de réseaux de neurones récurrents appelés réseaux résonateurs, qui peuvent résoudre de manière itérative une forme particulière de problème de factorisation.

« Dans cette forme mathématique élégante, les valeurs d’attributs et leurs enchevêtrements sont représentés via des vecteurs holographiques de grande dimension », a expliqué Rahimi. « Ils sont holographiques car l’information codée est également répartie sur toutes les composantes du vecteur. Dans les réseaux résonateurs, ces représentations holographiques sont manipulées de manière itérative par les opérateurs des architectures vectorielles symboliques pour résoudre le problème de factorisation. »

Un réseau résonateur est un type de réseau neuronal récurrent conçu pour résoudre des problèmes de factorisation (c’est-à-dire des problèmes qui impliquent de diviser un nombre entier en facteurs plus petits qui, une fois multipliés, produisent le nombre original). Bien que les réseaux de résonateurs se soient avérés efficaces pour résoudre de nombreux problèmes de factorisation simples, ils souffrent généralement de deux limitations clés.

Premièrement, ces réseaux sont susceptibles d’entrer dans une « boucle infinie de recherche », un phénomène connu sous le nom de cycles limites. De plus, les réseaux de résonateurs sont souvent incapables de résoudre rapidement et efficacement des problèmes importants impliquant plusieurs facteurs. Le moteur créé par Rahimi et ses collègues aborde et surmonte ces deux limitations.

« Notre factoriseur en mémoire enrichit les réseaux de résonateurs sur le matériel informatique analogique en mémoire (AIMC) en exploitant naturellement le bruit intrinsèque du dispositif memristif pour empêcher les réseaux de résonateurs de rester bloqués dans les cycles limites », a déclaré Rahimi. « Cette stochasticité intrinsèque du dispositif, basée sur un matériau à changement de phase, transforme un réseau de résonateurs déterministe en un réseau de résonateurs stochastiques en permettant d’effectuer des calculs bruyants à chaque itération. De plus, notre factoriseur en mémoire introduit des activations non linéaires basées sur des seuils et détection de convergence. »

Dans le cadre de leur récente étude, les chercheurs ont créé un prototype de leur moteur en utilisant deux puces de calcul en mémoire. Ces puces étaient basées sur des dispositifs memristifs à changement de phase, des systèmes prometteurs capables à la fois d’effectuer des calculs et de stocker des informations.

« La configuration matérielle expérimentale AIMC contient deux cœurs de mémoire à changement de phase, chacun avec 256 × 256 cellules unitaires pour effectuer une multiplication matrice-vecteur (MVM) et une MVM transposée avec un degré élevé de parallélisme et en temps constant », a déclaré Rahimi. « En effet, notre factoriseur en mémoire réduit la complexité du temps de calcul de la factorisation vectorielle au simple nombre d’itérations. »

Lors des premières évaluations, le factoriseur en mémoire créé par Rahimi et ses collègues a obtenu des résultats très prometteurs, résolvant des problèmes au moins cinq fois plus grands et plus complexes que ceux qui pourraient être résolus à l’aide d’un système conventionnel basé sur des réseaux de résonateurs. Remarquablement, leur moteur peut également résoudre ces problèmes plus rapidement et en consommant moins de puissance de calcul.

« Une découverte révolutionnaire de notre étude est que l’inévitable stochasticité présentée dans le matériel AIMC n’est pas une malédiction mais une bénédiction », a déclaré Rahimi. « Lorsqu’elle est couplée à des techniques de seuillage, cette stochasticité pourrait ouvrir la voie à la résolution d’au moins cinq ordres de grandeur de problèmes combinatoires plus importants qui étaient auparavant insolubles dans les contraintes données. »

À l’avenir, le nouveau moteur de factorisation créé par cette équipe de chercheurs pourrait être utilisé pour démêler de manière fiable les attributs visuels individuels des objets dans les images capturées par des caméras ou d’autres capteurs. Il pourrait également être appliqué à d’autres problèmes de factorisation complexes, ouvrant de nouvelles voies passionnantes dans la recherche en IA.

« Le nombre massif d’opérations MVM coûteuses en calculs impliquées lors de la factorisation est accéléré par notre factoriseur en mémoire », a ajouté Rahimi. « Ensuite, nous cherchons à concevoir et à tester du matériel AIMC à grande échelle capable d’effectuer des MVM plus importants. »