La nouvelle intelligence artificielle de Google vous permet de créer de la musique à partir de commandes écrites. Le résultat est fascinant

L’intelligence artificielle continue d’entrer dans les domaines de l’art. Et avec une polyvalence digne des meilleurs professeurs. On a déjà vu des bots philosopher, générer des designs avec pour seule aide quelques indications ou écrire des chroniques, parfois, oui, avec un succès inégal. Et cela parmi un etcetera de plus en plus long et complexe. dans ce sillage Google vient de présenter son nouveau développement, MusicLM, un modèle capable de générer de la musique à partir de motifs écrits.

Son approche n’est pas entièrement nouvelle. D’autres systèmes d’IA ont déjà été présentés axé sur la musiqueQuoi rifusion, Diffusion de danse, juke-box ou même AudioML, de Google lui-même. Pour avoir, la musique générée par AI a son propre Eurovision, dans lequel l’Espagne n’a pas été mal arrêtée.

Ce qui rend MusicLM pertinent, ce sont ses résultats, partagés par Google et vous pouvez vérifier en détailavec extraits audio, sur son site Internet—, s’appuyant quant à lui sur une formation nourrie d’environ 280 000 heures de mélodies.

« Surpasse les systèmes précédents »

« MusicLM est un modèle qui génère de la musique haute fidélité à partir de descriptions textuelles telles que ‘une mélodie de violon relaxante soutenue par un riff de guitare déformé' », expliquer les auteurs de l’articledans lequel ils affirment que leur modèle « dépasse les systèmes précédents » à la fois en termes de qualité audio et de sa capacité à se conformer aux indications.

« De plus, nous démontrons que MusicLM peut être conditionné à la fois au texte et à une mélodie, puisqu’il peut transformer morceaux sifflés et fredonnés selon le style décrit dans un texte de pied de page », s’installent-ils. l’article est disponible à Arvix.

Que montrent ses créateurs ? Son énorme polyvalence pour générer des mélodies basées sur des indications écrites. Sa liste d’exemples comprend des pièces composées à partir de directives telles que « la bande originale d’un jeu d’arcade » ou « une fusion de reggaeton et de danse électronique, avec un son spatial et d’un autre monde ». Orientations de départ qui pourront ensuite être complétées par d’autres sur les rythmes, l’instrumentation, les répétitions, les détails de poursuite ou de développement.

Voulez-vous savoir comment ça sonne? Voilà tu as le résultat.

AI Text-to-Music est arrivé.

MusicLM est un modèle de Google Research qui génère de la musique haute fidélité à partir de descriptions textuelles. En gros, entrez simplement du texte et cela créera la musique. 🤯

La vidéo jointe montre des exemples d’invites de texte et de la musique générée par l’IA. pic.twitter.com/C2mII0M5zv

—Dave Lee (@heydave7) 27 janvier 2023

google aussi a partagé d’autres résultats générées à partir de descriptions différentes, plus abstraites, détaillées ou même génériques. Dans sa liste d’audios, par exemple, des mélodies créées avec une séquence d’ordres sont incluses, ce qui dérive de mélodies qui raconter une histoireComme une bande originale de film. Un exemple? Un morceau très cohérent, sans coupures brutales et d’une durée d’une minute, que MusicLM a développé à partir de cette succession : « Time to médite, time to wake up, time to run and time to give 100% ».

Un autre des tests consistait à décrire des photos de Salvador Dalí, Jacques Louis David Soit Matisse, parmi d’autres artistes, pour générer des mélodies avec ce que ces textes comprenaient. Les passages ont été tirés d’encyclopédies, de sites spécialisés ou encore de Wikipédia. Cela signifie-t-il que tout dans MuscicLM est parfait ? Non. Certaines compositions sonnent distordues et lorsqu’elle utilise des voix humaines – ce à quoi elle est préparée, a priori – elles sont généralement incompréhensibles.

Pour l’instant, oui, vous devrez vous contenter d’écouter les tests effectués par les propres experts de Google. Techcrunch vise que Google n’envisage pas de lancer le modèle. Au moins immédiatement. Au-delà de ses défis techniques, la vérité est que MusicLM pose des défis éthiques tout aussi difficiles.

La question la plus épineuse de toutes concerne peut-être le droit d’auteur des échantillons avec lesquels le modèle est formé et à partir desquels il est ensuite fourni pour générer des chansons. Au cours de leur enquête, les experts ont vérifié que plus ou moins 1% des compositions généré par MusicLM joué directement à partir de morceaux déjà existants avec lesquels il s’était entraîné.

« Nous avons constaté que seule une petite fraction des exemples était mémorisée exactement, tandis que dans 1 %, nous avons identifié une correspondance approximative. Nous insistons sur la nécessité de continuer à travailler à l’avenir pour faire face aux risques associés à la génération de musique. » collecter. Nous avons encore, du moins pour l’instant, l’échantillon de mélodies que MusicLM a déjà généré.

Image de couverture: Photographie possédée (Unsplash)