Le jeu de piano coopératif homme-robot atteint le sommet lors d'une conférence sur l'IA
Un robot musical capable de jouer du piano aux côtés d'un humain, créant un accompagnement harmonique en temps réel, a remporté un prix lors de la conférence 2024 du Center for Human-Inspired Artificial Intelligence (CHIA).
Doctorat en ingénierie de Cambridge. Huijiang Wang, étudiant du Laboratoire de robotique bio-inspirée (BIRL), Département d'ingénierie, a remporté le prix de la meilleure démonstration pour son « Harmony Robot », une main anthropomorphe personnalisée attachée à un bras de robot, avec ses « doigts » prédéfinis dans un accord. frapper la pose.
Un document de recherche distinct, publié dans la revue Transactions IEEE sur la robotiquea également été accepté dans le cadre du prix.
Intitulé « Piano coopératif humain-robot jouant avec un accompagnement musical en temps réel basé sur l'apprentissage », Huijiang et ses co-auteurs, le Dr Xiaoping Zhang et le professeur Fumiya Iida, présentent un robot collaboratif qui utilise l'apprentissage automatique pour prédire les progressions d'accords de piano appropriées en fonction sur le piano d'un humain.
Les expériences ont démontré un taux de précision de 93 % et ont impliqué l'apprentissage par le robot d'accords inspirés de la musique pop.
Pendant ce temps, un contrôleur adaptatif au comportement permet une synchronisation temporelle transparente, de sorte que le robot collaboratif puisse générer un accompagnement d'accords harmoniques pour la mélodie jouée par l'homme en temps réel. En effet, l’humain et le robot jouent en duo.
La configuration robotique impliquait le mouvement vertical de la main anthropomorphe personnalisée via un bras robotique, permettant de frapper les touches du piano. Tandis qu'un mouvement horizontal séparé permettait de changer d'accord, élargissant ainsi les capacités d'expression du robot dans les tâches de jeu de piano.
« Nous avons développé un robot musical capable de jouer du piano aux côtés d'un humain, créant ainsi de bons duos en temps réel », a déclaré Huijiang Wang. « Notre robot » écoute « la mélodie jouée par l'humain et utilise des techniques d'apprentissage automatique pour prédire les prochains accords, garantissant ainsi que la musique reste harmonieuse. »
Il a ajouté : « En utilisant un système de contrôle spécial, le robot fait correspondre son timing avec celui du joueur humain, ce qui synchronise les performances. Nous disposons également d'un système qui vérifie dans quelle mesure le robot et l'humain jouent ensemble, garantissant ainsi une collaboration de haute qualité. »
Les travaux futurs devraient inclure l'amélioration de la diversité de l'accompagnement musical basé sur le robot en incorporant davantage d'accords et en améliorant la dextérité de la main anthropomorphe pour permettre d'adapter davantage sa position et son orientation, ce qui est idéal pour appuyer sur une plus large gamme d'accords.
Le professeur Iida a déclaré : « Grâce aux progrès de l'IA, nous visons désormais à repousser les limites de la robotique dans des scénarios émotionnellement conscients, tels que des performances artistiques et de divertissement, où les robots doivent être capables de capturer, d'interpréter et de répondre aux signaux émotionnels de leur être humain. homologues.
« Le développement d'un algorithme d'improvisation capable de gérer des ressources informatiques intensives, tout en préservant la précision de la prédiction des accords, est également essentiel pour les efforts futurs dans ce domaine. »
« Nos recherches sur le robot Harmony font progresser l'intégration de la robotique douce dans des rôles créatifs et collaboratifs », a déclaré Huijiang. « En tirant parti de l'apprentissage automatique de pointe et de la robotique douce, nous visons à parvenir à une coopération homme-robot transparente à l'avenir, permettant aux robots de réagir de manière adaptative dans des scénarios dynamiques et réels. »
Fourni par l'Université de Cambridge
