Rendre l’IA plus intelligente grâce à un neurone artificiel multisensoriel intégré
Une équipe de recherche de Penn State a développé un neurone artificiel bio-inspiré capable de traiter ensemble les entrées sensorielles visuelles et tactiles. Crédit : Tyler Henderson/Penn State
La sensation de la fourrure d’un chat peut révéler certaines informations, mais voir le félin fournit des détails cruciaux : s’agit-il d’un chat domestique ou d’un lion ? Si le bruit du crépitement du feu peut être ambigu, son odeur confirme celle du bois qui brûle. Nos sens travaillent en synergie pour offrir une compréhension globale, en particulier lorsque les signaux individuels sont subtils. La somme collective des apports biologiques peut être supérieure à leurs contributions individuelles. Les robots ont tendance à suivre une addition plus simple, mais les chercheurs de Penn State ont désormais exploité le concept biologique pour l’appliquer à l’intelligence artificielle (IA) pour développer le premier neurone artificiel intégré multisensoriel.
Dirigée par Saptarshi Das, professeur agrégé de sciences de l’ingénierie et de mécanique à Penn State, l’équipe a publié ses travaux le 15 septembre dans Communications naturelles.
« Les robots prennent des décisions en fonction de l’environnement dans lequel ils se trouvent, mais leurs capteurs ne communiquent généralement pas entre eux », a déclaré Das, qui occupe également des postes conjoints en génie électrique et en science et ingénierie des matériaux. « Une décision collective peut être prise via une unité de traitement de capteurs, mais est-ce la méthode la plus efficace ou la plus efficace ? Dans le cerveau humain, un sens peut en influencer un autre et permettre à la personne de mieux juger une situation. »
Par exemple, une voiture peut être équipée d’un capteur qui recherche les obstacles, tandis qu’un autre détecte l’obscurité pour moduler l’intensité des phares. Individuellement, ces capteurs transmettent des informations à une unité centrale qui demande ensuite à la voiture de freiner ou de régler les phares. Selon Das, ce processus consomme plus d’énergie. Permettre aux capteurs de communiquer directement entre eux peut être plus efficace en termes d’énergie et de vitesse, en particulier lorsque les entrées des deux sont faibles.
« La biologie permet aux petits organismes de prospérer dans des environnements aux ressources limitées, minimisant ainsi la consommation d’énergie », a déclaré Das, également affilié au Materials Research Institute. « Les exigences relatives aux différents capteurs dépendent du contexte : dans une forêt sombre, vous compteriez davantage sur l’écoute que sur la vue, mais nous ne prenons pas de décisions basées sur un seul sens. Nous avons une idée complète de notre environnement et notre prise de décision est basée sur l’intégration de ce que nous voyons, entendons, touchons, sentons, etc. Les sens ont évolué ensemble en biologie, mais séparément dans l’IA. Dans ce travail, nous cherchons à combiner des capteurs et à imiter la façon dont nos le cerveau fonctionne réellement. »
L’équipe s’est concentrée sur l’intégration d’un capteur tactile et d’un capteur visuel afin que la sortie d’un capteur modifie l’autre, à l’aide de la mémoire visuelle. Selon Muhtasim Ul Karim Sadaf, doctorant en troisième année en sciences de l’ingénieur et en mécanique, même un éclair de courte durée peut augmenter considérablement les chances de réussir un mouvement dans une pièce sombre.
« C’est parce que la mémoire visuelle peut ensuite influencer et faciliter les réponses tactiles pour la navigation », a expliqué Sadaf. « Cela ne serait pas possible si notre cortex visuel et tactile répondait seul à leurs signaux unimodaux respectifs. Nous avons un effet de mémoire photo, où la lumière brille et nous pouvons nous souvenir. Nous avons incorporé cette capacité dans un dispositif via un transistor qui fournit le même réponse. »
Les chercheurs ont fabriqué le neurone multisensoriel en connectant un capteur tactile à un phototransistor basé sur une monocouche de bisulfure de molybdène, un composé qui présente des caractéristiques électriques et optiques uniques utiles pour détecter la lumière et supporter les transistors. Le capteur génère des pointes électriques d’une manière qui rappelle les neurones traitant l’information, lui permettant d’intégrer des signaux visuels et tactiles.
Co-auteurs, de gauche à droite, Muhtasim Ul Karim Sadaf, étudiant diplômé en sciences de l’ingénieur et en mécanique ; Saptarshi Das, professeur agrégé de sciences de l’ingénieur et de mécanique ; et Andrew Pannone, étudiant diplômé en sciences de l’ingénieur et en mécanique, se réunissent dans le laboratoire de Das. Absents de la photo : les co-auteurs Najam U Sakib et Harikrishnan Ravichandran, tous deux étudiants diplômés en sciences de l’ingénieur et en mécanique. Crédit : Tyler Henderson/Penn State
C’est l’équivalent de voir une lumière allumée sur la cuisinière et de sentir la chaleur s’échapper d’un brûleur. Voir la lumière allumée ne signifie pas nécessairement que le brûleur est encore chaud, mais une main n’a besoin que de ressentir une nanoseconde de chaleur avant que le brûleur ne s’allume. le corps réagit et éloigne la main du danger potentiel. L’entrée de lumière et de chaleur déclenchait des signaux qui induisaient la réponse de la main. Dans ce cas, les chercheurs ont mesuré la version du neurone artificiel en observant les sorties de signalisation résultant d’indices d’entrée visuels et tactiles.
Pour simuler la saisie tactile, le capteur tactile a utilisé l’effet triboélectrique, dans lequel deux couches glissent l’une contre l’autre pour produire de l’électricité, ce qui signifie que les stimuli tactiles étaient codés en impulsions électriques. Pour simuler l’entrée visuelle, les chercheurs ont projeté une lumière sur le photomémtransistor monocouche en bisulfure de molybdène, ou sur un transistor capable de mémoriser l’entrée visuelle, comme la façon dont une personne peut conserver la disposition générale d’une pièce après qu’un flash rapide l’éclaire.
Ils ont découvert que la réponse sensorielle du neurone, simulée sous forme de sortie électrique, augmentait lorsque les signaux visuels et tactiles étaient faibles.
« Fait intéressant, cet effet résonne remarquablement bien avec son homologue biologique : une mémoire visuelle améliore naturellement la sensibilité aux stimuli tactiles », a déclaré le co-premier auteur Najam U Sakib, doctorant de troisième année en sciences de l’ingénierie et en mécanique. « Lorsque les indices sont faibles, il faut les combiner pour mieux comprendre l’information, et c’est ce que nous avons constaté dans les résultats. »
Das a expliqué qu’un système de neurones multisensoriels artificiels pourrait améliorer l’efficacité de la technologie des capteurs, ouvrant la voie à des utilisations plus respectueuses de l’environnement de l’IA. Ainsi, les robots, les drones et les véhicules autonomes pourraient naviguer plus efficacement dans leur environnement tout en consommant moins d’énergie.
« La somme super additive de signaux visuels et tactiles faibles est la réalisation clé de notre recherche », a déclaré le co-auteur Andrew Pannone, étudiant au doctorat de quatrième année en sciences de l’ingénierie et en mécanique. « Pour ce travail, nous n’avons examiné que deux sens. Nous travaillons à identifier le scénario approprié pour intégrer davantage de sens et voir quels avantages ils peuvent offrir. »
Harikrishnan Ravichandran, doctorant de quatrième année en sciences de l’ingénierie et en mécanique à Penn State, est également co-auteur de cet article.
