Generazione musicale di lunga durata con diffusione latente

Abstract

I modelli generativi basati su audio per la musica hanno compiuto grandi progressi di recente, ma finora non sono riusciti a produrre brani musicali completi con una struttura musicale coerente. Dimostriamo che addestrando un modello generativo su contesti temporali lunghi è possibile produrre musica di lunga durata fino a 4 minuti e 45 secondi. Il nostro modello consiste in un diffusion-transformer che opera su una rappresentazione latente continua altamente sottocampionata (frequenza latente di 21,5 Hz). Ottiene generazioni all'avanguardia secondo metriche sulla qualità audio e l'allineamento al prompt, e test soggettivi rivelano che produce musica completa con una struttura coerente.

English

Audio-based generative models for music have seen great strides recently, but so far have not managed to produce full-length music tracks with coherent musical structure. We show that by training a generative model on long temporal contexts it is possible to produce long-form music of up to 4m45s. Our model consists of a diffusion-transformer operating on a highly downsampled continuous latent representation (latent rate of 21.5Hz). It obtains state-of-the-art generations according to metrics on audio quality and prompt alignment, and subjective tests reveal that it produces full-length music with coherent structure.

Generazione musicale di lunga durata con diffusione latente

Long-form music generation with latent diffusion

Abstract

Support