MuseControlLite : Génération musicale multifonctionnelle avec conditionneurs légers

MuseControlLite: Multifunctional Music Generation with Lightweight Conditioners

June 23, 2025

Auteurs: Fang-Duo Tsai, Shih-Lun Wu, Weijaw Lee, Sheng-Ping Yang, Bo-Rui Chen, Hao-Chung Cheng, Yi-Hsuan Yang

cs.AI

Résumé

Nous proposons MuseControlLite, un mécanisme léger conçu pour affiner les modèles de génération de texte-à-musique en utilisant un conditionnement précis basé sur divers attributs musicaux variant dans le temps et des signaux audio de référence. La découverte clé est que les embeddings positionnels, rarement utilisés par les modèles de génération de texte-à-musique dans le conditionneur pour les conditions textuelles, sont essentiels lorsque la condition d'intérêt est une fonction du temps. En prenant le contrôle de la mélodie comme exemple, nos expériences montrent que l'ajout simple d'embeddings positionnels rotatifs aux couches d'attention croisée découplées augmente la précision du contrôle de 56,6 % à 61,1 %, tout en nécessitant 6,75 fois moins de paramètres entraînables que les mécanismes d'affinage de pointe, en utilisant le même modèle de diffusion Transformer pré-entraîné de Stable Audio Open. Nous évaluons diverses formes de contrôle d'attributs musicaux, d'inpainting audio et d'outpainting audio, démontrant une amélioration de la contrôlabilité par rapport à MusicGen-Large et Stable Audio Open ControlNet à un coût d'affinage significativement plus faible, avec seulement 85 millions de paramètres entraînables. Le code source, les points de contrôle du modèle et des exemples de démonstration sont disponibles à l'adresse suivante : https://musecontrollite.github.io/web/.

English

We propose MuseControlLite, a lightweight mechanism designed to fine-tune text-to-music generation models for precise conditioning using various time-varying musical attributes and reference audio signals. The key finding is that positional embeddings, which have been seldom used by text-to-music generation models in the conditioner for text conditions, are critical when the condition of interest is a function of time. Using melody control as an example, our experiments show that simply adding rotary positional embeddings to the decoupled cross-attention layers increases control accuracy from 56.6% to 61.1%, while requiring 6.75 times fewer trainable parameters than state-of-the-art fine-tuning mechanisms, using the same pre-trained diffusion Transformer model of Stable Audio Open. We evaluate various forms of musical attribute control, audio inpainting, and audio outpainting, demonstrating improved controllability over MusicGen-Large and Stable Audio Open ControlNet at a significantly lower fine-tuning cost, with only 85M trainble parameters. Source code, model checkpoints, and demo examples are available at: https://musecontrollite.github.io/web/.