Generazione Musicale Semplice e Controllabile

Simple and Controllable Music Generation

June 8, 2023

Autori: Jade Copet, Felix Kreuk, Itai Gat, Tal Remez, David Kant, Gabriel Synnaeve, Yossi Adi, Alexandre Défossez

cs.AI

Abstract

Affrontiamo il compito della generazione musicale condizionata. Introduciamo MusicGen, un singolo Language Model (LM) che opera su più flussi di rappresentazione musicale discreta compressa, ovvero token. A differenza dei lavori precedenti, MusicGen è composto da un transformer LM a singolo stadio insieme a schemi efficienti di intercalazione dei token, eliminando la necessità di concatenare più modelli, ad esempio in modo gerarchico o con upsampling. Seguendo questo approccio, dimostriamo come MusicGen possa generare campioni di alta qualità, essendo condizionato da descrizioni testuali o caratteristiche melodiche, consentendo un migliore controllo sull'output generato. Conduciamo una valutazione empirica approfondita, considerando sia studi automatici che umani, dimostrando che l'approccio proposto è superiore alle baseline valutate su un benchmark standard di testo-musica. Attraverso studi di ablazione, evidenziamo l'importanza di ciascuno dei componenti che costituiscono MusicGen. Campioni musicali, codice e modelli sono disponibili all'indirizzo https://github.com/facebookresearch/audiocraft.

English

We tackle the task of conditional music generation. We introduce MusicGen, a single Language Model (LM) that operates over several streams of compressed discrete music representation, i.e., tokens. Unlike prior work, MusicGen is comprised of a single-stage transformer LM together with efficient token interleaving patterns, which eliminates the need for cascading several models, e.g., hierarchically or upsampling. Following this approach, we demonstrate how MusicGen can generate high-quality samples, while being conditioned on textual description or melodic features, allowing better controls over the generated output. We conduct extensive empirical evaluation, considering both automatic and human studies, showing the proposed approach is superior to the evaluated baselines on a standard text-to-music benchmark. Through ablation studies, we shed light over the importance of each of the components comprising MusicGen. Music samples, code, and models are available at https://github.com/facebookresearch/audiocraft.