Une nouvelle application permet des performances musicales interactives
L’interprétation musicale nécessite une expertise musicale et une formation instrumentale. Alors que pour beaucoup, c’est une tâche ardue, d’autres n’ont pas les capacités physiques nécessaires pour jouer de ces instruments. Ilya Borovik, titulaire d’un doctorat. étudiant en science et ingénierie informatique et des données, avec son co-auteur allemand, il s’est fixé un objectif ambitieux : rendre les performances musicales plus accessibles aux personnes, quelle que soit leur origine.
Pour profiter des compositions familières, les auteurs ont introduit une application qui permet d’adapter la musique à ses propres goûts à travers la voix, les expressions faciales ou les gestes, par exemple, pour la jouer plus lentement ou comme s’il s’agissait d’une berceuse. Les résultats sont rapportés dans un chapitre du livre électronique « Augmenting Human Intellect ».
« La version de démonstration de notre système comprend un modèle d’IA, qui a été entraîné à l’aide d’un corpus ouvert de 1 067 rendus fournis pour 236 compositions de musique pour piano. Le modèle prend la musique notée en entrée et apprend à la jouer tout en prédisant les caractéristiques de performance : locales le tempo, la position, la durée et l’intensité de la note. Le résultat est un rendu de la composition. Notre objectif était de fournir un contrôle sur le modèle à l’utilisateur, nous l’avons donc incorporé dans l’application, ce qui permet une interaction entre le modèle et l’utilisateur final. » dit Ilya Borovik.
Au lancement de l’application, un utilisateur donne accès à la caméra et au microphone du smartphone et commence à écouter un rendu généré aléatoirement pour une composition de la base de données. Pour modifier le rendu, l’utilisateur démarre un enregistrement vidéo ou audio. Avec la voix ou les expressions faciales, le modèle peut être invité à interpréter la musique d’une autre manière. Par exemple, les Mazurkas de Chopin peuvent être transformées en berceuse.
« Pour interagir avec le modèle, nous utilisons des instructions d’exécution qui ont déjà été inscrites dans les notes. Les partitions musicales comportent des indications écrites qui guident le joueur sur la manière de jouer de la musique : plus rapide, plus lente, plus forte, etc. Sur la base de toutes les données disponibles, les commandes vocales de l’utilisateur sont transformées en ces directions de performance », ajoute Ilya.
Le projet est toujours en cours. L’équipe de recherche envisage de rendre la communication entre l’utilisateur et le modèle plus interactive, afin que l’utilisateur puisse obtenir les résultats souhaités en quelques itérations seulement. L’interface de l’application sera améliorée, tandis que la base de données des compositions sera élargie. Il contient désormais de la musique classique, qui constitue le patrimoine musical mondial. Dans une prochaine étape, les chercheurs incluront la musique orchestrale.
