FLUX qui Joue de la Musique

FLUX that Plays Music

September 1, 2024

Auteurs: Zhengcong Fei, Mingyuan Fan, Changqian Yu, Junshi Huang

cs.AI

Résumé

Cet article explore une extension simple du flux rectifié basé sur la diffusion pour la génération de musique à partir de texte, appelée FluxMusic. En général, en plus de la conception avancée du modèle Flux, nous le transférons dans un espace VAE latent du spectre mélodique. Cela implique d'appliquer d'abord une séquence d'attention indépendante au double flux texte-musique, suivie d'un flux musical unique empilé pour la prédiction de patch débruité. Nous utilisons plusieurs codeurs de texte pré-entraînés pour capturer suffisamment d'informations sémantiques de légende ainsi que de la flexibilité d'inférence. Entre-temps, les informations textuelles grossières, en conjonction avec les plongements des pas de temps, sont utilisées dans un mécanisme de modulation, tandis que les détails textuels fins sont concaténés avec la séquence de patchs musicaux en tant qu'entrées. À travers une étude approfondie, nous démontrons que l'entraînement par flux rectifié avec une architecture optimisée surpasse significativement les méthodes de diffusion établies pour la tâche de texte à musique, comme le montrent diverses mesures automatiques et évaluations de préférence humaine. Nos données expérimentales, le code et les poids du modèle sont rendus publiquement disponibles sur : https://github.com/feizc/FluxMusic.

English

This paper explores a simple extension of diffusion-based rectified flow Transformers for text-to-music generation, termed as FluxMusic. Generally, along with design in advanced Fluxhttps://github.com/black-forest-labs/flux model, we transfers it into a latent VAE space of mel-spectrum. It involves first applying a sequence of independent attention to the double text-music stream, followed by a stacked single music stream for denoised patch prediction. We employ multiple pre-trained text encoders to sufficiently capture caption semantic information as well as inference flexibility. In between, coarse textual information, in conjunction with time step embeddings, is utilized in a modulation mechanism, while fine-grained textual details are concatenated with the music patch sequence as inputs. Through an in-depth study, we demonstrate that rectified flow training with an optimized architecture significantly outperforms established diffusion methods for the text-to-music task, as evidenced by various automatic metrics and human preference evaluations. Our experimental data, code, and model weights are made publicly available at: https://github.com/feizc/FluxMusic.