Imiter le sommeil humain comme moyen de prévenir l’oubli catastrophique dans les systèmes d’IA
Représentation des souvenirs dans un espace synaptique abstrait et son évolution avec et sans sommeil. Crédit : Golden R, Delanois JE, Sanda P et Bazhenov M, 2022, PLOS Computational Biology, CC-BY 4.0 (creativecommons.org/licenses/by/4.0/)
Un trio de chercheurs de l’Université de Californie, travaillant avec un collègue de l’Institut d’informatique de l’Académie tchèque des sciences, a découvert qu’il est possible de prévenir l’oubli catastrophique dans les systèmes d’IA en faisant en sorte que ces systèmes imitent le sommeil paradoxal humain.
Dans leur article publié dans Biologie computationnelle PLOSRyan Golden, Jean Erik Delanois, Maxim Bazhenov et Pavel Sanda décrivent l’enseignement des systèmes d’intelligence artificielle pour se souvenir de ce qui a été appris à partir d’une tâche initiale lorsqu’ils travaillent sur une deuxième tâche.
Des recherches antérieures ont montré que les gens ressentent ce qu’on appelle la consolidation de la mémoire pendant le sommeil paradoxal. C’est un processus par lequel les choses qui ont été vécues récemment sont transférées dans la mémoire à long terme pour faire place à de nouvelles expériences. Sans un tel processus, le cerveau subit un oubli catastrophique, où les souvenirs des choses récentes ne sont pas conservés.
Cela peut être observé chez certaines personnes âgées qui perdent la capacité de bien dormir et se retrouvent ainsi capables de se souvenir de choses d’un passé lointain mais pas de ce qui s’est passé ces derniers jours. Dans ce nouvel effort, les chercheurs ont découvert que quelque chose de similaire peut être utilisé pour aider les systèmes d’IA à conserver ce qui a été appris dans le passé tout en apprenant de nouvelles choses.
Les systèmes d’IA sont devenus bien connus pour leur capacité à maîtriser un certain genre – on peut en créer un pour devenir un maître des échecs, par exemple. Mais amener les systèmes d’IA à maîtriser plus d’un sujet s’est avéré difficile.
En effet, expliquent les chercheurs, les nouveaux apprentissages ont tendance à se faire au détriment des anciens. Plus on apprend quelque chose dans un nouveau domaine, plus les vieux souvenirs sont perdus jusqu’à ce qu’ils disparaissent complètement. Pour surmonter ce problème, les chercheurs se sont penchés sur la façon dont le cerveau humain gère des situations similaires.
Tout d’abord, ils ont construit un système d’IA qui apprenait d’abord une tâche, puis une autre. Ils ont constaté, comme prévu, qu’à mesure qu’il s’améliorait dans la deuxième tâche, il perdait ses capacités dans la première tâche. Pour surmonter le problème, les chercheurs ont ajouté un code qui imitait le sommeil paradoxal dans le cerveau humain. Ils ont essentiellement donné au système la capacité d’intercaler des phases de sommeil/travail qui ont permis au système de continuer à conserver des souvenirs plus anciens au fur et à mesure que de nouveaux étaient traités et qui ont aidé à prévenir les oublis catastrophiques.
