MuseControlLite: Generación musical multifuncional con condicionadores ligeros

MuseControlLite: Multifunctional Music Generation with Lightweight Conditioners

June 23, 2025

Autores: Fang-Duo Tsai, Shih-Lun Wu, Weijaw Lee, Sheng-Ping Yang, Bo-Rui Chen, Hao-Chung Cheng, Yi-Hsuan Yang

cs.AI

Resumen

Proponemos MuseControlLite, un mecanismo ligero diseñado para ajustar finamente modelos de generación de texto a música mediante el condicionamiento preciso utilizando diversos atributos musicales variables en el tiempo y señales de audio de referencia. El hallazgo clave es que los embeddings posicionales, que rara vez han sido utilizados por los modelos de generación de texto a música en el condicionador para condiciones de texto, son críticos cuando la condición de interés es una función del tiempo. Usando el control de melodía como ejemplo, nuestros experimentos muestran que simplemente añadir embeddings posicionales rotatorios a las capas de atención cruzada desacopladas aumenta la precisión del control del 56.6% al 61.1%, mientras requiere 6.75 veces menos parámetros entrenables que los mecanismos de ajuste fino más avanzados, utilizando el mismo modelo preentrenado de Transformer de difusión de Stable Audio Open. Evaluamos diversas formas de control de atributos musicales, inpainting de audio y outpainting de audio, demostrando una mejor capacidad de control en comparación con MusicGen-Large y Stable Audio Open ControlNet a un costo de ajuste fino significativamente menor, con solo 85M parámetros entrenables. El código fuente, los puntos de control del modelo y ejemplos de demostración están disponibles en: https://musecontrollite.github.io/web/.

English

We propose MuseControlLite, a lightweight mechanism designed to fine-tune text-to-music generation models for precise conditioning using various time-varying musical attributes and reference audio signals. The key finding is that positional embeddings, which have been seldom used by text-to-music generation models in the conditioner for text conditions, are critical when the condition of interest is a function of time. Using melody control as an example, our experiments show that simply adding rotary positional embeddings to the decoupled cross-attention layers increases control accuracy from 56.6% to 61.1%, while requiring 6.75 times fewer trainable parameters than state-of-the-art fine-tuning mechanisms, using the same pre-trained diffusion Transformer model of Stable Audio Open. We evaluate various forms of musical attribute control, audio inpainting, and audio outpainting, demonstrating improved controllability over MusicGen-Large and Stable Audio Open ControlNet at a significantly lower fine-tuning cost, with only 85M trainble parameters. Source code, model checkpoints, and demo examples are available at: https://musecontrollite.github.io/web/.