Une approche d’apprentissage par renforcement profond pour améliorer la préhension et l’assemblage robotiques autonomes

Les robots semi-autonomes et autonomes sont introduits dans un nombre croissant d’environnements réels, notamment industriels. Les robots industriels pourraient accélérer la fabrication de divers produits en aidant les travailleurs humains dans les tâches de base et en allégeant leur charge de travail.

Deux des tâches les plus cruciales dans la fabrication sont la saisie d’objets et l’assemblage de produits, mais accomplir ces tâches de manière fiable à l’aide de systèmes robotiques peut s’avérer difficile. L’une des principales limites des robots industriels destinés aux chaînes d’assemblage automatisées est qu’ils doivent être largement programmés pour accomplir des tâches spécifiques (par exemple, saisir et assembler des articles spécifiques), et leur programmation spécifique au produit peut prendre du temps.

Des chercheurs de l’Université de technologie de Qingdao ont récemment décidé de s’attaquer à cette limitation cruciale des robots industriels en utilisant l’apprentissage par renforcement profond. Leur article, publié dans Le Journal international des technologies de fabrication avancéesintroduit de nouveaux algorithmes d’apprentissage profond qui pourraient accélérer le temps nécessaire à la formation des robots industriels sur de nouvelles tâches de préhension et d’assemblage.

« Cet article propose un cadre basé sur l’apprentissage par renforcement profond pour l’apprentissage autonome des compétences de préhension et d’assemblage des robots », ont écrit Chengjun Chen, Hao Zhang et leurs collègues dans leur article.

 » Parallèlement, un algorithme d’apprentissage des compétences de préhension de robot basé sur le Q-learning approfondi et un algorithme d’apprentissage des compétences d’assemblage de robot basé sur le PPO sont présentés, dans lesquels des informations de connaissances a priori sont introduites pour optimiser l’action de préhension et réduire le temps de formation et les données d’interaction nécessaires par l’algorithme d’apprentissage de la stratégie d’assemblage.

Les nouvelles techniques de formation des robots présentées dans cet article récent s’appuient sur les outils de vision par ordinateur et d’apprentissage automatique introduits ces dernières années. Premièrement, les chercheurs ont développé un algorithme d’apprentissage profond conçu pour enseigner rapidement aux robots de nouvelles compétences en matière de saisie d’objets, ainsi qu’un algorithme distinct pour entraîner les robots à assembler des objets spécifiques.

Parallèlement, ils ont également conçu des fonctions de récompense pouvant être utilisées pour évaluer efficacement les compétences de préhension et d’assemblage des systèmes robotiques industriels. Celles-ci incluent à la fois des fonctions de récompense de contraintes de préhension et d’assemblage.

Pour évaluer le potentiel de leur boîte à outils de formation robotique proposée, Chen, Zhang et leurs collègues l’ont testée à la fois dans des simulations et sur des robots industriels physiques. Dans leurs expériences réelles, l’équipe a spécifiquement utilisé l’UR5, un bras robotique léger souvent appliqué aux tâches industrielles, ainsi qu’une caméra RealSense D435i pour collecter des images RVB d’objets, que leurs algorithmes pourraient ensuite analyser.

« L’efficacité du cadre et des algorithmes proposés a été vérifiée dans des environnements simulés et réels, et le taux de réussite moyen de préhension dans les deux environnements atteignait 90 %. Sous une tolérance d’assemblage par cheville de 3 mm, le succès de l’assemblage Ce taux était respectivement de 86,7 % et 73,3 % dans l’environnement simulé et dans l’environnement physique », ont écrit les chercheurs dans leur article.

Les premiers résultats recueillis par Chen, Zhang et leurs collaborateurs sont très prometteurs, suggérant que leur boîte à outils d’algorithmes de formation pourrait accélérer la programmation des robots industriels, leur apprenant rapidement à saisir et assembler des objets de manière fiable. Dans leurs prochaines études, les chercheurs prévoient d’améliorer encore leur approche et de continuer à la tester sur des tâches courantes de préhension et d’assemblage.

« Dans les travaux futurs, nous améliorerons la précision de détection des trous et la randomisation du domaine de la forme et de l’image des trous dans l’environnement virtuel, optimiserons la stratégie de l’environnement de simulation à l’environnement physique et réduirons les erreurs dans les deux étapes pour améliorer l’assemblage. taux de réussite dans l’environnement physique », ont conclu les chercheurs.