FLUSSO che Riproduce Musica

FLUX that Plays Music

September 1, 2024

Autori: Zhengcong Fei, Mingyuan Fan, Changqian Yu, Junshi Huang

cs.AI

Abstract

Questo articolo esplora una semplice estensione dei Transformers a flusso rettificato basati sulla diffusione per la generazione di testo-musica, denominata FluxMusic. Generalmente, insieme alla progettazione avanzata del modello Flux, lo trasferiamo in uno spazio VAE latente dello spettro melodico. Ciò comporta l'applicazione iniziale di una sequenza di attenzione indipendente al doppio flusso di testo-musica, seguita da un singolo flusso musicale impilato per la previsione di patch denoised. Utilizziamo diversi codificatori di testo pre-addestrati per catturare in modo sufficiente le informazioni semantiche delle didascalie e la flessibilità dell'inferenza. Nel frattempo, le informazioni testuali grossolane, insieme agli embedding degli step temporali, vengono utilizzate in un meccanismo di modulazione, mentre i dettagli testuali fini vengono concatenati alla sequenza di patch musicali come input. Attraverso uno studio approfondito, dimostriamo che l'addestramento a flusso rettificato con un'architettura ottimizzata supera significativamente i metodi di diffusione consolidati per il compito di testo-musica, come dimostrato da vari metriche automatiche e valutazioni delle preferenze umane. I nostri dati sperimentali, codice e pesi del modello sono resi pubblicamente disponibili su: https://github.com/feizc/FluxMusic.

English

This paper explores a simple extension of diffusion-based rectified flow Transformers for text-to-music generation, termed as FluxMusic. Generally, along with design in advanced Fluxhttps://github.com/black-forest-labs/flux model, we transfers it into a latent VAE space of mel-spectrum. It involves first applying a sequence of independent attention to the double text-music stream, followed by a stacked single music stream for denoised patch prediction. We employ multiple pre-trained text encoders to sufficiently capture caption semantic information as well as inference flexibility. In between, coarse textual information, in conjunction with time step embeddings, is utilized in a modulation mechanism, while fine-grained textual details are concatenated with the music patch sequence as inputs. Through an in-depth study, we demonstrate that rectified flow training with an optimized architecture significantly outperforms established diffusion methods for the text-to-music task, as evidenced by various automatic metrics and human preference evaluations. Our experimental data, code, and model weights are made publicly available at: https://github.com/feizc/FluxMusic.