FLUX que Toca Música

FLUX that Plays Music

September 1, 2024

Autores: Zhengcong Fei, Mingyuan Fan, Changqian Yu, Junshi Huang

cs.AI

Resumo

Este artigo explora uma extensão simples do fluxo retificado baseado em difusão para geração de texto para música, denominado FluxMusic. Geralmente, juntamente com o design avançado do modelo Flux, transferimos isso para um espaço latente VAE do espectro mel. Isso envolve primeiro aplicar uma sequência de atenção independente ao fluxo duplo de texto-música, seguido por um fluxo único empilhado de música para previsão de patches denoizados. Empregamos vários codificadores de texto pré-treinados para capturar adequadamente informações semânticas de legenda, bem como flexibilidade de inferência. No meio, informações textuais grosseiras, em conjunto com embeddings de passos de tempo, são utilizadas em um mecanismo de modulação, enquanto detalhes textuais refinados são concatenados com a sequência de patches de música como entradas. Através de um estudo aprofundado, demonstramos que o treinamento de fluxo retificado com uma arquitetura otimizada supera significativamente os métodos de difusão estabelecidos para a tarefa de texto para música, conforme evidenciado por várias métricas automáticas e avaliações de preferência humana. Nossos dados experimentais, código e pesos do modelo estão disponíveis publicamente em: https://github.com/feizc/FluxMusic.

English

This paper explores a simple extension of diffusion-based rectified flow Transformers for text-to-music generation, termed as FluxMusic. Generally, along with design in advanced Fluxhttps://github.com/black-forest-labs/flux model, we transfers it into a latent VAE space of mel-spectrum. It involves first applying a sequence of independent attention to the double text-music stream, followed by a stacked single music stream for denoised patch prediction. We employ multiple pre-trained text encoders to sufficiently capture caption semantic information as well as inference flexibility. In between, coarse textual information, in conjunction with time step embeddings, is utilized in a modulation mechanism, while fine-grained textual details are concatenated with the music patch sequence as inputs. Through an in-depth study, we demonstrate that rectified flow training with an optimized architecture significantly outperforms established diffusion methods for the text-to-music task, as evidenced by various automatic metrics and human preference evaluations. Our experimental data, code, and model weights are made publicly available at: https://github.com/feizc/FluxMusic.