qu’est-ce que c’est, comment ça marche et comment utiliser ce créateur de musique à partir de texte par intelligence artificielle

Nous allons vous expliquer qu’est-ce que MusicGen et comment ça marche cette intelligence artificielle créée par Meta pour générer de la musique à partir de texte. Plus précisément, ce qu’il crée, ce sont de petites pistes audio, pas très longues, mais basées sur ce que vous avez demandé.

Nous allons commencer par vous expliquer de manière simple ce qu’est exactement ce système d’intelligence artificielle, afin que nous puissions tous le comprendre. Ensuite, nous vous dirons brièvement comment cela fonctionne, et nous terminerons en vous expliquant comment vous pouvez l’essayer vous-même.

Qu’est-ce que MusicGen ?

MusicGen est un système pour créer de la musique grâce à l’intelligence artificielle, avec un projet actuellement gratuit. Avec cet outil, vous n’avez qu’à décrire le type de morceau que vous souhaitez, et l’IA le générera à partir de la description que vous aurez donnée.

Il s’agit d’un modèle de langage basé sur le modèle Transformer de Google. Tout comme la plupart des modèles de langage ont la capacité de prédire les mots que vous taperez ensuite dans une phrase, MusicGen prédit la section suivante dans un morceau de musique.

Avec tout cela, l’IA de Meta est capable de créer de la musique de deux manières : uniquement par votre description ou avec votre description et une référence. Et puis, avec les données que vous lui avez fournies, il créera le morceau de musique. C’est un projet open source, et n’importe qui pourra revoir son code pour connaître les détails techniques de son fonctionnement.

Les créations sont des pièces courtes de 12 secondes, vous ne pourrez donc pas créer de chanson originale ou quelque chose comme ça. Cependant, cela sert à vous donner une idée des capacités de ce type d’intelligence artificielle.

L’équipe qui a développé ce système d’intelligence artificielle a utilisé 20 000 heures de musique diplômé. Pour ce faire, il a utilisé 10 000 pistes de haute qualité provenant d’une base de données interne, ainsi que des données musicales provenant des pages Shutterstock et Pond5.

Comment fonctionne MusicGen

Lorsque vous entrez sur le web de cette IA, vous devrez toujours écrivez une invite où vous décrivez la musique que vous voulez créer. Et puis, vous aurez la possibilité de l’ajouter si vous voulez un morceau de quelques secondes qui sert de référence, bien que ce soit totalement facultatif.

Si vous ajoutez une référence, l’IA va extraire sa mélodie et la modifier pour créer un nouveau morceau de musique à partir de votre description. Et si vous n’avez donné qu’une description, alors tout sera plus aléatoire, mais cela créera également un extrait musical qui y répondra.

À l’intérieur, le système est capable de décomposer les données audio en composants plus petits grâce au « tokenizer » audio de Meta, appelé Encodec. De plus, l’IA est capable de gérer à la fois les textes et les mélodies, pouvant combiner les deux.

Comme il fonctionne à travers des invites ou des commandes avec la description de la musique, cette IA est également capable de analyser le texte que vous écrivez et détecter les mots-clés qui définissent ce que vous essayez de demander, tout comme d’autres comme le font ChatGPT. Avec ces mots-clés, ces morceaux audio ou ces jetons spécifiques qui leur correspondent sont recherchés et la musique sera générée.

Chaque fois que vous lui demandez de dessiner quelque chose, le résultat change, car il le traite à nouveau à partir de zéro. De plus, selon que vous ajoutez différentes références musicales, avec la même invite, vous pouvez également modifier différentes pièces, obtenant des résultats complètement différents.

Comment utiliser MusicGen

Actuellement, vous pouvez accéder à une démo gratuite sur le portail du projet IA Hugging Face, notamment via l’adresse huggingface.co/spaces/facebook/MusicGen. Lorsque vous entrez, vous verrez une page assez basique, mais avec tout ce dont vous avez besoin.

Dans cette page, décrivez la musique dans laquelle vous voulez entrer . Et puis à droite vous avez le champ, qui permet d’ajouter un petit morceau de musique pour utiliser sa mélodie. Ceci est totalement facultatif et vous ne devez le faire que si vous le souhaitez.

Et voilà, une fois que tout est prêt appuie sur le bouton et l’IA commencera à créer votre chanson. Cela peut prendre plusieurs minutes, et quand vous l’aurez vous verrez le morceau créé et vous pourrez le jouer ou le télécharger.