Une nouvelle application utilise l’IA pour permettre à quiconque de créer des mashups musicaux

Imaginez si « Every Little Thing She Does Is Magic » de la police ouvrait « Beat It » de Michael Jackson, puis le riff « Bodak Yellow » de Cardi B mélangé avec Jackson. Ce mélange n’est pas un fantasme impossible, mais une réalité avec Mixboard, une application pour tablette qui permet aux utilisateurs sans expérience musicale ou d’édition de créer les chansons de leurs rêves.

L’application est issue du Center for Music Technology du Georgia Institute of Technology, dont le directeur, le professeur Gil Weinberg, et ses étudiants développent un outil de mashup depuis des années. Maintenant, la technologie a finalement rattrapé leur vision originale. Avec l’aide de l’intelligence artificielle (IA), l’application recherche des artistes que l’utilisateur pourrait ne pas associer naturellement et trouve les meilleures parties de la chanson pour le mashup.

« Je pense que tout le monde peut devenir créatif avec la musique », a déclaré Weinberg. « Peut-être que tout le monde ne connaît pas toute la théorie nécessaire pour composer un morceau de musique au niveau des notes, mais presque tout le monde aime la musique. Si nous leur donnons un moyen très simple de mettre des chansons à différents endroits, ils peuvent créer quelque chose d’unique.  »

Les chercheurs ont présenté leurs travaux dans l’article « Mixboard—A Co-Creative Mashup Application for Novices » lors de la Conférence internationale sur les nouvelles interfaces pour l’expression musicale (NIME 2023) en mai.

Faire des mashups

Pour créer un mashup, les utilisateurs glissent et déposent jusqu’à quatre chansons de Spotify ou de la bibliothèque musicale Mixboard dans des segments de voix, de basse, d’accords et de batterie jusqu’à 32 mesures. L’expérience est intrinsèquement visuelle et permet aux utilisateurs de suivre pendant que l’application mélange leurs choix de chansons, le rendu en quelques secondes. Une fois terminé, les utilisateurs peuvent télécharger et partager leur piste unique.

« J’ai travaillé sur à peu près toutes les parties du projet, de l’interface Web et du back-end à la création d’une toute nouvelle application iOS », a déclaré Raghavasimhan Sankaranarayanan, titulaire d’un doctorat. étudiant en technologie musicale. « Je suis passionné par la construction de choses robustes et prêtes pour la production. »

DJ IA

L’IA permet aux utilisateurs de se concentrer sur le développement de la chanson au lieu de se soucier des aspects techniques et de la théorie musicale. L’application utilise des bibliothèques de récupération d’informations musicales open source pour déterminer le tempo, les clés et les tiges de la musique, ce qui aide à décomposer la chanson en mixages individuels. L’algorithme peut étirer le son pour qu’il corresponde au tempo ou transposer les touches pour s’assurer que les deux chansons sont dans la même tonalité. Les chercheurs fournissent également des modèles de structures de chansons de base pour aider les utilisateurs à créer une piste attrayante.

« Plus nous nous concentrons sur le développement de l’IA à des fins créatives, plus cela peut être inspirant et considéré comme une contribution unique que les humains ne pourraient pas fournir », a déclaré Weinberg. « Ensemble, avec votre propre créativité et l’apport créatif de l’IA, le mashup peut être quelque chose d’unique et de nouveau que vous ne créeriez pas uniquement par vous-même. »

Mélanger les commentaires des utilisateurs

Pour s’assurer que Mixboard était fonctionnel, les chercheurs ont mené des enquêtes auprès des utilisateurs, dirigées par Tommy Ottolin, étudiant à la maîtrise en interaction homme-machine. Leurs études ont évalué l’interface Web auprès de 45 sujets âgés de 18 à 27 ans, à l’exclusion de toute personne ayant plus d’un an d’expérience en matière de mixage ou de composition musicale. Les participants ont eu 30 minutes pour tester Mixboard. Ensuite, ils ont réalisé une interview semi-structurée avec les chercheurs, suivie d’une enquête de 20 questions utilisant une échelle de Likert en cinq points demandant des questions telles que le degré de contrôle créatif que les utilisateurs pensaient avoir ou la facilité d’utilisation de l’application.

« Observer les gens interagir avec notre Mixboard évoque une gamme d’émotions en moi, y compris la fierté, la nervosité et l’excitation », a déclaré Qinying Lei, diplômé d’une maîtrise en technologie musicale. « Je suis tellement heureux de voir les utilisateurs captivés par Mixboard et surpris par la musique unique qu’ils produisent. »

L’avenir de Mixboard

Alors que les chercheurs continuent d’affiner l’automatisation de l’application et d’améliorer les fonctionnalités d’iOS, ils voient également un potentiel bien plus important qu’une simple expérience en laboratoire. Ils espèrent commercialiser l’application mais sont moins limités par la technologie que par les contraintes de licence. Weinberg a consulté Kobi Abayomi, ancien vice-président senior pour la science des données chez Warner Music Group, maintenant responsable de la science pour Gumbel Demand Acceleration et membre du conseil consultatif du Ivan Allen College of Liberal Arts.

« Les détenteurs de droits musicaux devraient considérer les applications comme Mixboard comme des opportunités de marketing, et non comme des jeux de licence », a-t-il déclaré. « Amener les gens à avoir une affinité accrue pour la musique, ou plus précisément pour votre type de musique, est l’essence même du marketing musical avant-gardiste. »

En fin de compte, cependant, Mixboard vise à démocratiser l’accès à la production musicale et à montrer que tout le monde peut être créatif.

« Écouter les mashups générés de mieux en mieux à chaque modification de notre algorithme était incroyable », a déclaré Nitin Hugar, diplômé d’une maîtrise en technologie musicale. « C’était aussi amusant d’essayer de mélanger les chansons les plus improbables : une chanson indienne avec des rythmes africains et des accords de jazz n’était certainement pas ce que je pensais qui sonnerait bien ensemble, mais j’ai eu tort à plusieurs reprises. Ce projet m’a fait apprécier comment la musique de différentes régions du monde est interconnectée. »