Un modèle qui récupère automatiquement les échantillons de batterie correspondants pour les pistes musicales

Les modèles informatiques basés sur l’apprentissage automatique ont été appliqués avec succès à un large éventail de tâches complexes de traitement de l’information, y compris celles qui impliquent la récupération d’éléments de données spécifiques à partir d’archives volumineuses. Des chercheurs des Sony Computer Science Laboratories (CSL) en France ont tenté de développer des techniques d’apprentissage automatique qui pourraient aider les producteurs de musique à identifier et à récupérer facilement des échantillons audio spécifiques à partir d’une base de données.

À cette fin, Stefan Lattner, chercheur chez Sony CSL, a récemment présenté SampleMatch, un modèle basé sur l’apprentissage automatique qui peut récupérer automatiquement des échantillons de batterie correspondant à une piste musicale spécifique à partir d’archives volumineuses. Son modèle devrait être présenté en décembre lors de la conférence ISMIR 2022, un événement majeur qui se concentre sur la recherche d’informations musicales.

« Notre équipe musicale chez Sony CSL travaille sur une IA qui pourrait faciliter la vie des producteurs de musique », a déclaré Stefan Lattner, l’un des chercheurs qui a mené l’étude, à TechXplore. « Dans la production musicale, il existe de nombreuses tâches pour lesquelles l’IA pourrait être utile. L’une de ces tâches qui est actuellement relativement fastidieuse est la sélection d’échantillons de batterie. »

La sélection d’échantillons de batterie est le processus par lequel les producteurs de musique doivent rechercher des échantillons de batterie qui fonctionneraient bien avec des morceaux de musique spécifiques sans batterie. Comme les bibliothèques d’échantillons de batterie sont généralement volumineuses, l’identification d’échantillons de batterie appropriés peut prendre beaucoup de temps et d’énergie.

Actuellement, les producteurs de musique n’ont accès qu’à quelques outils informatiques rudimentaires conçus pour les aider dans les processus de sélection d’échantillons de batterie. Celles-ci incluent principalement le filtrage d’un grand ensemble de données par balises ou mots-clés.

Il y a quelques années, Lattner a entrepris de développer un nouveau système qui pourrait récupérer des échantillons de batterie de manière plus intuitive et efficace. Cependant, en raison des limites de la technologie disponible à l’époque, ce système devait être relativement complexe.

« J’ai trouvé que le système que j’avais créé précédemment n’était pas très élégant, donc je ne l’ai pas publié », a expliqué Lattner. « Avec les progrès récents de l’apprentissage contrastif (et les améliorations des encodeurs de réseaux neuronaux), il est devenu beaucoup plus facile d’estimer si deux points de données correspondent. En conséquence, le système est devenu plus général et ma méthode pourrait être utilisée pour estimer le s’adapter à de nombreux types de sons. »

Lors de l’utilisation de SampleMatch, les musiciens peuvent entrer leur piste dans leur système à n’importe quelle étape de la production. Le système trie ensuite automatiquement une bibliothèque d’échantillons de batterie en fonction de ce qu’il calcule qui lui correspond le mieux.

Lattner a formé SampleMatch à l’aide d’un vaste ensemble de données de 4 830 morceaux de musique électronique et de 885 morceaux pop/rock célèbres, y compris des chansons de Lady Gaga, Coldplay, Stevie Wonder et d’autres artistes bien connus. Plus précisément, il a utilisé des paires audio de musique instrumentale (c’est-à-dire des bases synthétiques, une basse, une guitare, un pad, des cordes, un chœur, un clavier et des voix) et des pistes de batterie correspondantes.

« SampleMatch a été formé sur des paires audio dont nous savions qu’elles correspondraient », a déclaré Lattner. « Maintenant, lorsque nous montrons une nouvelle paire au modèle, cela fournira un » score correspondant « . Bien qu’il existe déjà des systèmes qui correspondent à des échantillons audio en utilisant des caractéristiques musicales extraites, leur qualité de récupération dépend des caractéristiques prédéfinies et du type d’échantillons.Pour les échantillons de batterie, il n’est même pas clair quelles caractéristiques nous devrions examiner pour calculer un score correspondant. « 

Alors que Lattner a formé son modèle pour savoir quels échantillons de batterie correspondaient à une piste spécifique, il pourrait également être utilisé pour d’autres formes de correspondance audio. En utilisant différentes paires d’échantillons d’apprentissage, en fait, SampleMatch pourrait également apprendre à récupérer la basse, la guitare ou d’autres pistes instrumentales correspondantes.

« Certains choix esthétiques qu’un musicien effectue dans la production musicale sont encore mystérieux. » dit Lattner. « Bien qu’il soit évident qu’un instrument ne doit pas jouer faux, avec des échantillons de batterie, il n’y a aucune théorie pour laquelle certains correspondent à votre piste, et d’autres non. En montrant des exemples, un ordinateur peut désormais apprendre les principes esthétiques que nous appliquons lorsque D’une certaine manière, l’ordinateur apprend à écouter comme un humain. »

À l’avenir, le modèle de récupération audio créé par Lattner et ses collègues de Sony CSL pourrait aider les producteurs de musique à trouver des échantillons de batterie appropriés ou d’autres échantillons instrumentaux pour leurs morceaux. De plus, une analyse approfondie de la façon dont le système a appris à organiser les données pourrait aider à concevoir de nouvelles théories susceptibles de guider les efforts de production musicale. Plus précisément, la rétro-ingénierie du système pourrait permettre aux chercheurs de définir certaines règles générales que les musiciens devraient suivre lors du mixage de leur musique.

« Dans nos travaux futurs, nous voulons combiner cette méthode avec notre technologie DrumGAN pour générer des échantillons de batterie qui correspondent directement à une piste donnée », a ajouté Lattner. « En attendant, nous voulons également étendre SampleMatch à d’autres types d’échantillons. »

---