3 façons dont l’IA transforme la musique

Chaque automne, je commence mon cours sur l’intersection de la musique et de l’intelligence artificielle en demandant à mes étudiants s’ils sont préoccupés par le rôle de l’IA dans la composition ou la production de musique.

Jusqu’à présent, la question a toujours suscité un « oui » retentissant.

Leurs craintes peuvent se résumer en une phrase : l’IA va créer un monde où la musique est abondante, mais où les musiciens sont mis de côté.

Au cours du prochain semestre, j’anticipe une discussion sur Paul McCartney, qui en juin 2023 a annoncé que lui et une équipe d’ingénieurs du son avaient utilisé l’apprentissage automatique pour découvrir une piste vocale « perdue » de John Lennon en séparant les instruments d’une démo enregistrement.

Mais ressusciter les voix d’artistes morts depuis longtemps n’est que la pointe de l’iceberg en termes de ce qui est possible et de ce qui est déjà fait.

Dans une interview, McCartney a admis que l’IA représente un avenir « effrayant » mais « excitant » pour la musique. Pour moi, son mélange de consternation et d’exaltation est parfait.

Voici trois façons dont l’IA change la façon dont la musique est créée, chacune pouvant menacer les musiciens humains de différentes manières :

1. Composition de la chanson

De nombreux programmes peuvent déjà générer de la musique avec une simple invite de l’utilisateur, comme « Electronic Dance with a Warehouse Groove ».

Des applications entièrement génératives forment des modèles d’IA sur de vastes bases de données de musique existante. Cela leur permet d’apprendre les structures musicales, les harmonies, les mélodies, les rythmes, la dynamique, les timbres et la forme, et de générer un nouveau contenu qui correspond stylistiquement au matériel de la base de données.

Il existe de nombreux exemples de ce type d’applications. Mais les plus réussis, comme Boomy, permettent aux non-musiciens de générer de la musique, puis de publier les résultats générés par l’IA sur Spotify pour gagner de l’argent. Spotify a récemment supprimé bon nombre de ces pistes générées par Boomy, affirmant que cela protégerait les droits et les redevances des artistes humains.

Les deux sociétés sont rapidement parvenues à un accord qui a permis à Boomy de remettre en ligne les morceaux. Mais les algorithmes qui alimentent ces applications ont toujours une capacité troublante à enfreindre les droits d’auteur existants, ce qui pourrait passer inaperçu pour la plupart des utilisateurs. Après tout, fonder une nouvelle musique sur un ensemble de données de musique existante entraînera forcément des similitudes notables entre la musique de l’ensemble de données et le contenu généré.

De plus, les services de streaming comme Spotify et Amazon Music sont naturellement incités à développer leur propre technologie de génération de musique par IA. Spotify, par exemple, verse 70 % des revenus de chaque flux à l’artiste qui l’a créé. Si l’entreprise pouvait générer cette musique avec ses propres algorithmes, elle pourrait éliminer complètement les artistes humains de l’équation.

Au fil du temps, cela pourrait signifier plus d’argent pour les services de streaming géants, moins d’argent pour les musiciens et une approche moins humaine de la création musicale.

2. Mixage et mastering

Les applications d’apprentissage automatique qui aident les musiciens à équilibrer tous les instruments et à nettoyer l’audio d’une chanson (ce que l’on appelle le mixage et le mastering) sont des outils précieux pour ceux qui manquent d’expérience, de compétences ou de ressources pour créer des pistes de qualité professionnelle. .

Au cours de la dernière décennie, l’intégration de l’IA dans la production musicale a révolutionné la façon dont la musique est mixée et maîtrisée. Les applications pilotées par l’IA comme Landr, Cryo Mix et Neutron d’iZotope peuvent automatiquement analyser les pistes, équilibrer les niveaux audio et supprimer le bruit.

Ces technologies rationalisent le processus de production, permettant aux musiciens et aux producteurs de se concentrer sur les aspects créatifs de leur travail et de laisser une partie de la corvée technique à l’IA.

Bien que ces applications enlèvent sans aucun doute du travail aux mixeurs et producteurs professionnels, elles permettent également aux professionnels de terminer rapidement des travaux moins lucratifs, tels que le mixage ou le mastering pour un groupe local, et de se concentrer sur des commissions bien rémunérées qui nécessitent plus de finesse. Ces applications permettent également aux musiciens de produire un travail plus professionnel sans impliquer un ingénieur du son qu’ils ne peuvent pas se permettre.

3. Reproduction instrumentale et vocale

En utilisant des algorithmes de « transfert de tonalité » via des applications comme Mawf, les musiciens peuvent transformer le son d’un instrument en un autre.

La chanson « Enter Demons & Gods » du musicien et ingénieur thaïlandais Yaboi Hanoi, qui a remporté le troisième concours international de chanson AI en 2022, était unique en ce qu’elle était influencée non seulement par la mythologie thaïlandaise, mais aussi par les sons des instruments de musique thaïlandais indigènes, qui ont un système d’intonation non occidental. L’un des aspects les plus passionnants sur le plan technique de l’entrée de Yaboi Hanoi était la reproduction d’un instrument à vent traditionnel thaïlandais – le pi nai – qui a été resynthétisé pour interpréter le morceau.

Une variante de cette technologie est au cœur du logiciel de synthèse vocale Vocaloid, qui permet aux utilisateurs de produire des pistes vocales humaines convaincantes avec des voix interchangeables.

Des applications peu recommandables de cette technique apparaissent en dehors du domaine musical. Par exemple, l’échange de voix par IA a été utilisé pour arnaquer les gens avec de l’argent.

Mais les musiciens et les producteurs peuvent déjà l’utiliser pour reproduire de manière réaliste le son de n’importe quel instrument ou voix imaginable. L’inconvénient, bien sûr, est que cette technologie peut priver les instrumentistes de la possibilité de jouer sur une piste enregistrée.

À l’aide du transfert de tonalité, la voix d’un chanteur est transformée en son de trompette. Jason Palamara, CC BY289 Ko (télécharger)

Le moment du Far West de l’IA

Alors que j’applaudis la victoire de Yaboi Hanoi, je me demande si cela encouragera les musiciens à utiliser l’IA pour simuler un lien culturel là où il n’en existe pas.

En 2021, Capitol Music Group a fait la une des journaux en signant un « rappeur IA » qui avait reçu l’avatar d’un cyborg masculin noir, mais qui était en réalité l’œuvre d’ingénieurs logiciels non noirs de Factory New. Le contrecoup a été rapide, la maison de disques étant carrément condamnée pour appropriation culturelle flagrante.

Mais l’appropriation culturelle musicale de l’IA est plus facile à découvrir que vous ne le pensez. Avec la taille extraordinaire des chansons et des échantillons qui composent les ensembles de données utilisés par des applications comme Boomy (voir l’open source « Million Song Dataset » pour une idée de l’échelle), il y a de fortes chances qu’un utilisateur télécharge involontairement une piste nouvellement générée qui s’inspire d’une culture qui n’est pas la leur, ou s’inspire d’un artiste d’une manière qui imite trop fidèlement l’original. Pire encore, il ne sera pas toujours clair qui est responsable de l’infraction, et les lois américaines actuelles sur le droit d’auteur sont contradictoires et terriblement inadéquates pour réglementer ces questions.

Ce sont tous des sujets qui ont été abordés dans ma propre classe, ce qui m’a permis d’informer au moins mes élèves des dangers d’une IA non contrôlée et de la meilleure façon d’éviter ces pièges.

En même temps, à la fin de chaque semestre d’automne, je demanderai à nouveau à mes étudiants s’ils sont préoccupés par une prise en charge de la musique par l’IA. À ce stade, et avec un semestre entier d’expérience dans l’étude de ces technologies, la plupart d’entre eux se disent impatients de voir comment la technologie évoluera et où ira le domaine.

Certaines sombres possibilités s’offrent à l’humanité et à l’IA. Pourtant, au moins dans le domaine de l’IA musicale, il y a lieu d’être optimiste, en supposant que les pièges sont évités.