Geração de Música Simples e Controlável

Simple and Controllable Music Generation

June 8, 2023

Autores: Jade Copet, Felix Kreuk, Itai Gat, Tal Remez, David Kant, Gabriel Synnaeve, Yossi Adi, Alexandre Défossez

cs.AI

Resumo

Abordamos a tarefa de geração condicional de música. Apresentamos o MusicGen, um único Modelo de Linguagem (LM) que opera sobre vários fluxos de representação musical discreta comprimida, ou seja, tokens. Diferente de trabalhos anteriores, o MusicGen é composto por um LM transformer de estágio único juntamente com padrões eficientes de intercalação de tokens, o que elimina a necessidade de cascatear vários modelos, por exemplo, de forma hierárquica ou com upsampling. Seguindo essa abordagem, demonstramos como o MusicGen pode gerar amostras de alta qualidade, enquanto é condicionado por descrições textuais ou características melódicas, permitindo um melhor controle sobre a saída gerada. Realizamos uma extensa avaliação empírica, considerando tanto estudos automáticos quanto humanos, mostrando que a abordagem proposta é superior às baselines avaliadas em um benchmark padrão de texto para música. Através de estudos de ablação, esclarecemos a importância de cada um dos componentes que compõem o MusicGen. Amostras de música, código e modelos estão disponíveis em https://github.com/facebookresearch/audiocraft.

English

We tackle the task of conditional music generation. We introduce MusicGen, a single Language Model (LM) that operates over several streams of compressed discrete music representation, i.e., tokens. Unlike prior work, MusicGen is comprised of a single-stage transformer LM together with efficient token interleaving patterns, which eliminates the need for cascading several models, e.g., hierarchically or upsampling. Following this approach, we demonstrate how MusicGen can generate high-quality samples, while being conditioned on textual description or melodic features, allowing better controls over the generated output. We conduct extensive empirical evaluation, considering both automatic and human studies, showing the proposed approach is superior to the evaluated baselines on a standard text-to-music benchmark. Through ablation studies, we shed light over the importance of each of the components comprising MusicGen. Music samples, code, and models are available at https://github.com/facebookresearch/audiocraft.