Stable Diffusion nous a émerveillés avec leurs images. Maintenant, il s’avère qu’il est également capable de générer de la musique

DALL E 2, Midjourney et surtout diffusion stable ils sont devenus un véritable phénomène qui a secoué le monde de l’art et du design et a permis à n’importe qui de générer des images étonnantes grâce à l’intelligence artificielle. Les applications semblaient fantastiques dans cette discipline artistique, mais certains développeurs nous ont surpris et sont allés un peu plus loin.

rifusion. C’est le nom du modèle d’intelligence artificielle qui est une petite variante de Stable Diffusion et qui génère de la musique. rifusion a été créé « comme passe-temps) par deux développeurs qui profitent de sa capacité à générer des images très spéciales.

bonjour spectrogramme. Stable Diffusion peut non seulement générer des images dans le style de n’importe quel artiste : si vous l’envoyez, il peut générer de curieux spectrogrammes. Ces représentations uniques du spectre d’un signal sont uniques en ce sens qu’elles peuvent être converties en clips audio.

Du texte au son. Les ‘prompts’ ou descriptions d’images que l’on donne à Stable Diffusion finissent donc par devenir de la musique, et comme l’expliquent les développeurs, le traitement audio se fait de manière transparente avec un modèle basé sur torcheaudio qui peut également créer des « variations infinies » en faisant légèrement varier la « graine » – l’invite d’origine.

Des petits clips qui deviennent gros. Les spectrogrammes génèrent des clips audio aussi courts que cinq secondes, mais les développeurs voulaient « des battements infinis générés par l’IA ».

Pour cela, ce qu’ils ont fait a été, à partir d’un spectrogramme initial, de faire varier cette semence pour que la musique coule en continu. Ils ont également appliqué une série de techniques pour que les spectrogrammes soient trop différents et que les transitions soient douces.

Essayez sur le Web ou installez-le. Les développeurs ont un générateur de sonnerie unique dans le site web du projetmais le code est disponible sur GitHub et vous n’avez besoin que d’un ordinateur avec un GPU décent pour générer ce genre de mélodies en quelques secondes seulement.

Il ne composera pas de bandes sonores, mais… La musique créée ne remportera probablement pas de prix de la critique, mais encore une fois, elle peut être utilisée comme source d’inspiration ou « modèle » pour le compositeur humain, qui peut créer des mélodies avec ou sans paroles. Attention : cela représente une menace potentielle pour l’industrie de la musique.