Le trio de jazz joue en direct avec un son généré par AI
Un développement récent fascinant permettant aux musiciens d'improviser la musique live avec un son généré par l'IA pourrait être la plus grande innovation depuis l'avènement de l'échantillonnage, ou peut-être même l'invention du son enregistré, selon un chercheur en musique chez York.
Le Dr Federico Reuben devrait sortir « latent Imprints », un album gratuit d'improvisation du jazz enregistré avec le saxophoniste James Mainwaring et le batteur Emil Karlsen, sous le nom du groupe Sveið.
Révolutionnaire
Mais la musique a une touche révolutionnaire – elle a été jouée en direct en utilisant une technologie émergente appelée Neural Audio Synthesis (NAS). Le NAS permet aux musiciens d'improviser dans un cadre en direct avec des sons générés par l'AI – « brouillant » sur scène avec l'intelligence artificielle.
Federico, professeur agrégé à la School of Arts and Creative Technologies, explique: « NAS utilise l'apprentissage en profondeur, une technique d'IA où les programmes sont formés sur de grands ensembles de données – dans ce cas, les collections d'enregistrements sonores – pour trouver des fonctionnalités et des modèles dans les données qui permettent la génération de nouveaux sons ressemblant à ceux de l'ensemble de données d'origine. »
Préoccupations
Federico reconnaît que les implications de cette technologie ont soulevé des préoccupations parmi certains artistes, dont Sir Elton John, qui a récemment exprimé une forte opposition à ce qu'il considère comme une réglementation inadéquate de l'IA dans les industries créatives.
Tout en reconnaissant les complexités entourant les lois sur le droit d'auteur, Federico souligne que ces techniques offrent des avantages potentiels importants aux artistes et aux publics.
« Une fois que les gens ont vu les possibilités créatives offertes par ces outils, je pense qu'elles deviendront vraiment excitées », a déclaré Federico, décrivant une technique NAS particulière connue sous le nom de «transfert de timbre».
« Avec le transfert de timbre, par exemple, un modèle d'IA formé sur une base de données de discours enregistré peut répondre en temps réel aux entrées d'un microphone placé devant un kit de tambour. Lorsque le batteur joue, l'IA génère des sons vocaux imitant les tambours, créant un effet similaire à Beatboxing. »
Mind Bogggling
Le résultat, dit Federico, est « l'esprit ahurissant » parce que l'IA essaiera d'approximer les rythmes et les caractéristiques des tambours, mais avec des sons vocaux.
Dans son trio de jazz gratuit Sveið, Federico est crédité comme un «improvisateur pour ordinateur portable et codeur en direct», et le groupe improvise ses performances dans des contextes en direct.
« J'ai utilisé cette technique en direct avec plusieurs musiciens, mais cet album marque les débuts d'un nouveau groupe mettant en vedette le saxophoniste nominé au Mercury James Mainwaring et le batteur norvégien Emil Karlsen. »
Sur scène, Federico utilise des ordinateurs portables et des contrôleurs, capturant les sons de ses collègues musiciens à travers des microphones connectés à ses ordinateurs.
« Je place un microphone devant chaque musicien pour analyser leurs signaux sonores », explique-t-il. « Je vois l'IA dans la performance comme un« processus enchevêtré de co-création »- je suis en direct et à l'exploration des modèles d'IA à mesure que l'improvisation se déroule, réagissant à ce que les autres jouent. Cet échange crée toutes sortes de sons inattendus et de nouvelles idées musicales, ce qui donne vraiment vie à la performance. »
Federico suggère également que cette technologie pourrait bénéficier à d'autres domaines de l'industrie musicale. Au-delà du jazz gratuit, Federico propose des projets de recherche en cours explorant les possibilités plus larges du NAS. En travaillant avec le professeur Franziska Schroeder, il étudie les méthodes plus incarnées d'interagir avec les modèles d'IA, en utilisant la respiration, le son, le toucher, le mouvement et les signaux physiologiques du corps humain, au lieu d'invites de texte.
Un autre projet, « Lotus Code », vise à diversifier des ensembles de données sur l'IA en collaborant avec des musiciens japonais pour créer des ensembles de données représentant les traditions musicales japonaises.
« Un problème important avec des sociétés d'IA comme Udio et Sunoai est leur dépendance à l'égard des ensembles de données dominés par la musique occidentale commerciale populaire », dit-il. « Cela risque une homogénéisation culturelle et esthétique, c'est pourquoi la diversification des ensembles de données NAS est essentielle. »
Transformateur
Federico pense que le NAS pourrait révolutionner l'industrie musicale, le décrivant comme l'un des développements récents les plus transformateurs de l'histoire du son enregistré.
« C'est très nouveau et c'est ce qui le rend excitant », explique Federico. « C'est sans aucun doute un changement de paradigme dans ce que vous pouvez faire avec le son enregistré. Lorsque l'échantillonnage a émergé, il a fourni aux musiciens une nouvelle avenue d'exploration, ce qui a finalement donné lieu à des genres entiers comme le hip-hop. »
« Je pense que le NAS représente un changement tout aussi transformateur dans la production musicale et les performances en direct. En travaillant avec l'IA en tant que collaborateur – pas un outil pour remplacer les musiciens – il pourrait ouvrir la porte à des genres musicaux et des formes d'expression entièrement nouveaux. »
« Les empreintes latentes » de Sveið seront publiées le 27 juin via 577 Records.
