Regarder des vidéos chirurgicales permet au robot d'effectuer des tâches avec les compétences d'un médecin humain.
Un robot, formé pour la première fois en regardant des vidéos de chirurgiens chevronnés, a exécuté les mêmes procédures chirurgicales avec autant d'habileté que les médecins humains.
L’utilisation réussie de l’apprentissage par imitation pour former des robots chirurgicaux élimine le besoin de programmer les robots pour chaque mouvement individuel requis au cours d’une procédure médicale et rapproche le domaine de la chirurgie robotique d’une véritable autonomie, où les robots pourraient effectuer des interventions chirurgicales complexes sans aide humaine.
« C'est vraiment magique d'avoir ce modèle et tout ce que nous faisons, c'est de lui transmettre les données de la caméra et il peut prédire les mouvements robotiques nécessaires à la chirurgie », a déclaré l'auteur principal Axel Krieger. « Nous pensons que cela marque un pas en avant significatif vers une nouvelle frontière dans le domaine de la robotique médicale. »
Les découvertes menées par les chercheurs de l'Université Johns Hopkins ont été mises en lumière lors de la conférence sur l'apprentissage des robots à Munich.
L'équipe, qui comprenait des chercheurs de l'Université de Stanford, a utilisé l'apprentissage par imitation pour entraîner le robot du système chirurgical da Vinci à effectuer des procédures chirurgicales fondamentales : manipuler une aiguille ; soulever les tissus corporels et suturer.
Le modèle combinait l’apprentissage par imitation avec la même architecture d’apprentissage automatique qui sous-tend ChatGPT. Cependant, là où ChatGPT fonctionne avec des mots et du texte, ce modèle parle « robot » avec cinématique, un langage qui décompose les angles de mouvement robotique en mathématiques.
Les chercheurs ont alimenté leur modèle avec des centaines de vidéos enregistrées à partir de caméras-bracelets placées sur les bras des robots Da Vinci lors d'interventions chirurgicales. Ces vidéos, enregistrées par des chirurgiens du monde entier, sont utilisées pour des analyses postopératoires puis archivées. Près de 7 000 robots Da Vinci sont utilisés dans le monde et plus de 50 000 chirurgiens sont formés sur le système, créant ainsi une vaste archive de données que les robots peuvent « imiter ».
Bien que le système Da Vinci soit largement utilisé, les chercheurs affirment qu’il est notoirement imprécis. Mais l’équipe a trouvé un moyen de faire fonctionner cette entrée erronée. La clé était d’entraîner le modèle à effectuer des mouvements relatifs plutôt que des actions absolues, qui sont inexactes.
« Tout ce dont nous avons besoin, c'est d'une saisie d'image, puis ce système d'IA trouve la bonne action », a déclaré l'auteur principal Ji Woong « Brian » Kim. « Nous constatons que même avec quelques centaines de démos, le modèle est capable d'apprendre la procédure et de généraliser de nouveaux environnements qu'il n'a pas rencontrés. »
L’équipe a formé le robot à effectuer trois tâches : manipuler une aiguille, soulever des tissus corporels et suturer. Dans chaque cas, le robot formé sur le modèle de l'équipe a effectué les mêmes procédures chirurgicales avec autant d'habileté que les médecins humains.
« Ici, le modèle est tellement efficace pour apprendre des choses que nous ne lui avons pas enseigné », a déclaré Krieger. « S'il laisse tomber l'aiguille, il la reprendra automatiquement et continuera. Ce n'est pas quelque chose que je lui ai appris à faire. »
Le modèle pourrait être utilisé pour entraîner rapidement un robot à effectuer n’importe quel type d’intervention chirurgicale, ont indiqué les chercheurs. L’équipe utilise désormais l’apprentissage par imitation pour entraîner un robot à effectuer non seulement de petites tâches chirurgicales, mais aussi une intervention chirurgicale complète.
Avant cette avancée, la programmation d’un robot pour effectuer ne serait-ce qu’un aspect simple d’une intervention chirurgicale nécessitait un codage manuel de chaque étape. Quelqu'un pourrait passer une décennie à essayer de modéliser la suture, a déclaré Krieger. Et cela ne concerne que la suture pour un seul type de chirurgie.
« C'est très limitatif », a déclaré Krieger. « Ce qui est nouveau ici, c'est que nous devons seulement collecter des apprentissages par imitation de différentes procédures, et nous pouvons former un robot pour qu'il les apprenne en quelques jours. Cela nous permet d'accélérer vers l'objectif d'autonomie tout en réduisant les erreurs médicales et en obtenant une chirurgie plus précise. « .
Les auteurs de Johns Hopkins incluent un doctorat. l'étudiant Samuel Schmidgall; Anton Deguet, ingénieur de recherche associé ; et professeur agrégé de génie mécanique Marin Kobilarov. Les auteurs de l’Université de Stanford sont titulaires d’un doctorat. l'étudiant Tony Z. Zhao et le professeur adjoint Chelsea Finn.
