StemGen: Um modelo de geração de música que escuta

StemGen: A music generation model that listens

December 14, 2023

Autores: Julian D. Parker, Janne Spijkervet, Katerina Kosta, Furkan Yesiler, Boris Kuznetsov, Ju-Chiang Wang, Matt Avent, Jitong Chen, Duc Le

cs.AI

Resumo

A geração de áudio musical de ponta a ponta utilizando técnicas de aprendizado profundo tem testemunhado uma explosão de atividade recentemente. No entanto, a maioria dos modelos concentra-se em gerar música totalmente mixada em resposta a informações de condicionamento abstratas. Neste trabalho, apresentamos um paradigma alternativo para produzir modelos de geração musical que podem ouvir e responder ao contexto musical. Descrevemos como tal modelo pode ser construído usando uma arquitetura baseada em transformadores não autoregressivos e apresentamos uma série de melhorias arquiteturais e de amostragem inovadoras. Treinamos a arquitetura descrita tanto em um conjunto de dados de código aberto quanto em um conjunto de dados proprietário. Avaliamos os modelos produzidos utilizando métricas de qualidade padrão e uma nova abordagem baseada em descritores de recuperação de informações musicais. O modelo resultante atinge a qualidade de áudio dos modelos de última geração condicionados por texto, além de exibir uma forte coerência musical com seu contexto.

English

End-to-end generation of musical audio using deep learning techniques has seen an explosion of activity recently. However, most models concentrate on generating fully mixed music in response to abstract conditioning information. In this work, we present an alternative paradigm for producing music generation models that can listen and respond to musical context. We describe how such a model can be constructed using a non-autoregressive, transformer-based model architecture and present a number of novel architectural and sampling improvements. We train the described architecture on both an open-source and a proprietary dataset. We evaluate the produced models using standard quality metrics and a new approach based on music information retrieval descriptors. The resulting model reaches the audio quality of state-of-the-art text-conditioned models, as well as exhibiting strong musical coherence with its context.