L’arc virtuel déploie un essaim de drones dans une série de tirs

Les chercheurs de Skoltech ont mis au point un moyen efficace et assez spectaculaire de positionner un essaim de drones de sauvetage ou de recherche. L’opérateur porte un casque de réalité virtuelle et une interface tactile pour imiter le tir d’un arc pour guider chaque drone vers sa position prévue avec une série de tirs.

La technique est améliorée par l’apprentissage par renforcement profond, qui sert à empêcher les robots d’entrer en collision les uns avec les autres. Présentée au 21e Symposium international de l’IEEE sur la réalité mixte et augmentée, l’étude est le premier projet russe à avoir été sélectionné pour cette conférence de haut niveau depuis sa création il y a plus de 20 ans.

« Steve Jobs a radicalement changé notre idée d’une interaction intuitive avec le monde numérique lorsqu’il a défendu les écrans tactiles et les gestes. L’objectif de notre recherche est encore plus ambitieux en ce qu’il cherche à relever le défi de savoir comment permettre à un utilisateur sans pilote de drone expérience pour déployer un essaim entier en quelques secondes seulement », a commenté le chercheur principal de l’étude, le professeur associé de Skoltech, Dzmitry Tsetserukou, qui dirige le laboratoire de robotique spatiale intelligente.

« À l’heure actuelle, il n’y a pas beaucoup d’interfaces pour déployer un essaim de drones », a commenté l’auteur principal de l’étude, Ekaterina Dorzhieva, diplômée de Skoltech MSc. « Un joystick est pratique pour contrôler un drone, mais une fois que vous avez tout un essaim, vous avez besoin soit de plusieurs opérateurs, soit d’un logiciel très complexe avec un code qui prend explicitement en compte beaucoup de choses de manière non intuitive. Nous proposons une alternative à cela. »

La solution alternative présentée par les chercheurs du Centre d’Ingénierie de l’Institut est une interface tactile proposée par Skoltech Ph.D. étudiant Miguel Altamirano Cabrera et inspiré par LinkTouch, une conception antérieure créée par Tsetserukou au Japon.

L’opérateur porte un casque de réalité virtuelle, une paire de gants avec repères et une interface tactile. Un système de capture de mouvement intégrant plusieurs caméras IR est mis en place autour du « shooter » pour suivre les positions des gants et des drones. L’interface tactile permet au porteur de ressentir la tension de la corde d’arc virtuelle en fonction de la distance entre les gants et d’utiliser cette rétroaction pour ajuster la distance à l’endroit où ils sont sur le point de déployer un drone.

Pendant ce temps, le casque VR continue de visualiser la trajectoire balistique du drone en temps réel. Lorsque l’opérateur est satisfait de la trajectoire, il desserre le poing. Celle-ci est enregistrée par la caméra, verrouillant la trajectoire et envoyant le drone la parcourir.

Une fois la destination atteinte, une forme conventionnelle de contrôle doit prendre le relais, guidant le drone dans sa mission, qui peut impliquer une opération de sauvetage, la gestion des ressources naturelles, la détection des incendies de forêt, la surveillance des cultures basée sur l’indice de végétation, la détection de la pollution, l’inspection des infrastructures. ou d’entretien.

« L’avantage d’utiliser une trajectoire balistique en forme de flèche est qu’elle semble naturelle pour une personne, et de cette façon, un opérateur humain peut rapidement trouver un moyen de déployer des drones tout en évitant les obstacles. C’est une tâche assez naturelle pour les humains », a déclaré Dorzhieva. « Vous pourriez utiliser un logiciel pour définir les coordonnées des drones, mais ils devraient ensuite trouver le chemin qui évite les obstacles par eux-mêmes, ce qui signifie que chaque machine doit être équipée d’une caméra. »

Il y a deux autres rebondissements à cela. Premièrement, l’utilisation de la technologie de réalité virtuelle signifie que l’opérateur n’a pas besoin de se trouver à proximité de l’emplacement réel où l’essaim est déployé. Quelles que soient les conditions difficiles auxquelles les drones sont conçus pour résister (feu violent, contamination radioactive, températures glaciales dans un endroit éloigné, etc.), le casque VR pourrait être utilisé pour simuler la présence de l’opérateur sur place et positionner les robots.

De plus, une fois que vous avez réuni la réalité virtuelle et le tir à l’arc, il y a clairement un potentiel pour l’industrie du divertissement et du jeu vidéo. Deuxièmement, la nouvelle méthode est renforcée par l’apprentissage par renforcement, permettant aux drones de prévoir les collisions possibles les uns avec les autres et d’adapter les trajectoires sur lesquelles ils se trouvent en conséquence.

La recherche est actuellement publiée sur le serveur de prépublication arXiv.