Émuler la neurodégénérescence et le vieillissement dans les systèmes d'intelligence artificielle
Ces dernières années, les développeurs ont introduit des systèmes d’intelligence artificielle (IA) capables de simuler ou de reproduire diverses capacités humaines, telles que reconnaître des objets dans des images, répondre à des questions, etc. Pourtant, contrairement à l’esprit humain, qui peut se détériorer avec le temps, ces systèmes conservent généralement les mêmes performances, voire améliorent leurs compétences au fil du temps.
Des chercheurs de l’Université de Californie à Irvine ont récemment tenté d’imiter le vieillissement et la neurodégénérescence biologique (c’est-à-dire la perte progressive des neurones et le déclin associé des capacités mentales) chez les agents d’IA. Leur article, pré-publié sur arXivpourrait éclairer le développement futur de systèmes d'IA innovants qui exploitent cette « neurodégénérescence artificielle » pour effectuer des tâches spécifiques.
« L'idée originale de cette étude est née lors d'un dîner avec le Dr Baldi et le Dr Pishgar, au cours duquel nous avons discuté d'un large éventail de sujets vaguement liés à la neurodégénérescence, à l'apprentissage et à la sécurité de l'IA », Yu-Dai Tsai, co-auteur de le journal, a déclaré à Tech Xplore.
« En plus de cela, mon père avait récemment subi un grave traumatisme cérébral et un déclin cognitif, ce qui m'a incité à réfléchir davantage à ce sujet sous un nouvel angle et à ses applications directes en informatique et en apprentissage profond en particulier. »
Cette étude récente de Tsai et de ses collaborateurs ne visait pas à reproduire artificiellement les maladies du cerveau humain. Au lieu de cela, l’équipe souhaitait produire des déclins cognitifs chez les agents d’IA dans le but de mieux comprendre les systèmes complexes, améliorant potentiellement leur interprétabilité et leur sécurité.
« Nous avons utilisé des tests de QI effectués par de grands modèles de langage (LLM) et, plus particulièrement, le LLaMA 2, pour introduire le concept d' »érosion neuronale » », a expliqué Tsai. « Cette érosion délibérée implique l'ablation de synapses ou de neurones ou l'ajout de bruit gaussien pendant ou après l'entraînement, entraînant une baisse contrôlée des performances des LLM. »
Les chercheurs ont découvert que lorsqu'ils supprimaient délibérément certaines synapses ou neurones artificiels du modèle LLaMA 2, leurs performances aux tests de QI diminuaient, selon un schéma particulier. Leurs observations pourraient apporter un nouvel éclairage sur le fonctionnement des systèmes d’IA complexes et sur les capacités qui sont les premières et les dernières à décliner lorsque leur structure sous-jacente est compromise.
« En plus de définir le cadre général, la découverte la plus intéressante de cette étude est peut-être que le LLM perd ses capacités de réflexion abstraite, suivie d'une dégradation mathématique et, finalement, d'une perte de capacité linguistique, répondant aux invites de manière incohérente », a déclaré Tsai. « Nous effectuons actuellement d'autres tests pour mieux comprendre cette tendance observée. »
Les chercheurs ont découvert que lorsque les synapses artificielles et les neurones sont supprimés des systèmes d’IA, ces systèmes perdent d’abord leur capacité à penser de manière abstraite, puis perdent leurs capacités mathématiques et enfin leurs compétences linguistiques (c’est-à-dire qu’ils sont incapables de répondre aux invites de manière cohérente). . Il est intéressant de noter que ce schéma de « neuro-érosion » correspond aux schémas de neurodégénérescence observés chez l’homme.
À l’avenir, ces travaux récents de Tsai et de ses collaborateurs pourraient inspirer d’autres groupes de recherche à explorer la neurodégénérescence dédiée chez les agents d’IA, allant au-delà des travaux antérieurs axés sur la reproduction de la neurodégénérescence humaine. Collectivement, ces travaux pourraient ouvrir la voie au développement de nouvelles techniques exploitant les modèles de neuro-érosion observés par l’IA pour résoudre des problèmes du monde réel.
« Il s'agit de la première d'une série d'études à venir. Nous prévoyons de développer notre étude sur des tests spécifiques de systèmes d'IA et d'étendre l'émulation à d'autres maladies neuronales et à la neurodiversité », a ajouté Tsai. « De plus, nous appliquerons nos méthodes pour améliorer la sécurité et l'interprétabilité de l'IA. Nous sommes également impatients d'avoir davantage de collaborations et de discussions avec des neuroscientifiques ; cependant, notre objectif principal reste l'exploration de nouvelles frontières dans les études sur l'IA, plutôt que la reproduction des maladies du cerveau humain. »
