L'IA pourrait aider à réduire le risque de blessure chez les pianistes

Des chercheurs de Stanford Engineering ont développé un modèle entraîné par l'IA pour recréer avec précision les mouvements des mains des pianistes d'élite et le stress physique qu'ils subissent en jouant.

Les pianistes professionnels passent d’innombrables heures au clavier, perfectionnant leur art. Pour les personnes aux mains plus petites, ce dévouement peut avoir des conséquences physiques. Des étirements répétés pour atteindre des touches éloignées d'un accord peuvent fatiguer les muscles et les articulations et entraîner une tendinite, un syndrome du canal carpien et d'autres blessures.

Des chercheurs de Stanford s'efforcent de comprendre les forces impliquées dans les mouvements des mains des pianistes d'élite et comment celles-ci changent en fonction des différentes tailles de mains et largeurs de clavier. Le 5 décembre, au SIGGRAPH Asia 2024, des chercheurs de Stanford Engineering ont présenté un modèle entraîné par l'IA qui peut recréer les mouvements de la main nécessaires pour jouer des morceaux de musique complexes et le stress physique subi par ces mains.

Il s’agit de la première étape d’un effort visant à réduire le risque de blessures à long terme chez les pianistes et de tester des solutions, telles que des claviers plus étroits, qui pourraient rendre le jeu du piano plus équitable pour tous.

« Nous ne nous attendrions jamais à ce qu'un athlète de classe mondiale concoure avec un équipement qui ne convient pas à son corps. Pourtant, nous demandons aux pianistes, en particulier aux femmes, de s'adapter à un modèle unique qui n'a jamais été conçu pour eux.  » a déclaré Elizabeth Schumann, directrice des études de clavier chez Billie Bennet Achilles à Stanford et co-auteur de l'article. « Nous pouvons utiliser des recherches comme celle-ci pour remodeler l'avenir de la performance et la rendre plus durable. »

Capturer les performances d’élite

Le clavier de piano moderne a été conçu au 19ème siècle en pensant à l’homme européen moyen. Aujourd’hui, on estime que 87 % des femmes adultes et 24 % des hommes adultes ont des mains plus petites que ce qui est idéal pour un piano standard. Utiliser des méthodes traditionnelles pour étudier les impacts des mains plus petites nécessiterait de suivre une cohorte de pianistes pendant des décennies, et il pourrait encore être difficile de quantifier les risques de blessures ou de tester des solutions.

Au lieu de cela, les chercheurs ont enregistré les mouvements des mains de pianistes professionnels et utilisent l’intelligence artificielle pour prédire comment différentes tailles de mains bougeraient pour jouer de la nouvelle musique.

Schumann et ses collègues ont recruté 15 pianistes d'élite pour jouer un total de 10 heures de musique pendant que les caméras filmaient leurs mains sous tous les angles. Les chercheurs ne pouvaient installer aucun capteur sur les joueurs sans potentiellement interférer avec leurs performances. Ils ont donc utilisé des techniques avancées de vision par ordinateur pour combiner les vidéos et reconstruire les mouvements des mains des joueurs en trois dimensions. Ils ont utilisé un traitement supplémentaire pour s'assurer que ces mouvements étaient parfaitement synchronisés avec l'audio.

« La qualité des données que nous avons pu obtenir est sans précédent », a déclaré Karen Liu, professeur d'informatique à Stanford et auteur principal de l'article. « Ce n'est pas seulement que les mouvements 3D reconstruits sont précis et nets ; la qualité de la performance elle-même est vraiment remarquable. Nous avons pu capturer divers mouvements d'un groupe de musiciens talentueux jouant à un niveau élevé. Je n'ai pas vu un ensemble de données comme celui-ci. ça dans le passé. »

Roucheng Wang, un étudiant diplômé du laboratoire de Liu, et Pei Xu, chercheur postdoctoral, ont utilisé cet ensemble de données pour former un modèle afin de générer avec précision de nouvelles données sur le jeu du piano. Lorsqu'ils ont donné au modèle des partitions qu'il n'avait jamais vues, comme « Für Elise » de Beethoven, le modèle pouvait fournir les mouvements de main 3D corrects nécessaires pour jouer le morceau, en utilisant un piano simulé pour générer du son.

« J'étais tellement stupéfait de voir avec quelle précision ce modèle pouvait simuler une technique de niveau élite », a déclaré Schumann. « C'est vraiment incroyable. »

Des articulations robotisées aux vrais muscles

Ce modèle n’est que la première étape pour Liu, Schumann et leurs collègues. Pour le moment, le modèle peut simuler physiquement les mouvements de la main, mais il ne simule pas les muscles et les tendons qui créent ces mouvements ni la tension à laquelle ils sont soumis.

« Nous n'en sommes pas encore au niveau biomécanique, où l'actionnement des mains est généré par les muscles. Actuellement, notre modèle ressemble davantage à un robot qui génère directement un couple au niveau des articulations », a déclaré Liu. « À terme, notre modèle doit être capable de prédire le niveau de tension musculaire et le potentiel de blessure. »

Les chercheurs travaillent actuellement à ajouter ces couches à leur modèle afin de pouvoir les utiliser pour aider les pianistes, en particulier ceux qui ont de petites mains, à éviter les blessures. Ils adaptent également leur travail pour modéliser les mouvements d’autres musiciens adroits. Ils ont appliqué certaines des mêmes techniques à un ensemble de données existant sur les mouvements des mains de guitaristes hautement qualifiés.

Leurs résultats, qui ont également été présentés récemment au SIGGRAPH Asia 2024, ont montré qu'ils pouvaient modéliser avec succès les mouvements distincts des mains gauche et droite nécessaires pour jouer une variété de musique populaire et classique.

« Avec des données de haute qualité, nous pourrions également modéliser les mouvements 3D nécessaires à d'autres types de performances musicales », a déclaré Liu. « Ce n'est pas un modèle qui remplace les gens : nous travaillons avec des musiciens pour les aider à comprendre et à résoudre les problèmes. Ce projet a pour but de faire progresser les gens, et l'IA n'est qu'un outil pour cela. »