MuseControlLite: Multifunctionele Muziekgeneratie met Lichtgewicht Conditioners

MuseControlLite: Multifunctional Music Generation with Lightweight Conditioners

June 23, 2025

Auteurs: Fang-Duo Tsai, Shih-Lun Wu, Weijaw Lee, Sheng-Ping Yang, Bo-Rui Chen, Hao-Chung Cheng, Yi-Hsuan Yang

cs.AI

Samenvatting

Wij stellen MuseControlLite voor, een lichtgewicht mechanisme ontworpen om tekst-naar-muziekgeneratiemodellen te finetunen voor precieze conditionering met behulp van diverse tijdsvariërende muzikale attributen en referentie-audiosignalen. De belangrijkste bevinding is dat positionele embeddings, die zelden worden gebruikt door tekst-naar-muziekgeneratiemodellen in de conditioner voor tekstcondities, cruciaal zijn wanneer de conditie van belang een functie van tijd is. Met melodiecontrole als voorbeeld tonen onze experimenten aan dat het simpelweg toevoegen van roterende positionele embeddings aan de ontkoppelde cross-attentielagen de controle-nauwkeurigheid verhoogt van 56,6% naar 61,1%, terwijl 6,75 keer minder trainbare parameters nodig zijn dan state-of-the-art finetuning-mechanismen, gebruikmakend van hetzelfde vooraf getrainde diffusie-Transformer-model van Stable Audio Open. We evalueren diverse vormen van muzikaal attribuutcontrole, audio-inpainting en audio-outpainting, en demonstreren verbeterde bestuurbaarheid ten opzichte van MusicGen-Large en Stable Audio Open ControlNet tegen aanzienlijk lagere finetuningkosten, met slechts 85M trainbare parameters. Broncode, modelcheckpoints en demo-voorbeelden zijn beschikbaar op: https://musecontrollite.github.io/web/.

English

We propose MuseControlLite, a lightweight mechanism designed to fine-tune text-to-music generation models for precise conditioning using various time-varying musical attributes and reference audio signals. The key finding is that positional embeddings, which have been seldom used by text-to-music generation models in the conditioner for text conditions, are critical when the condition of interest is a function of time. Using melody control as an example, our experiments show that simply adding rotary positional embeddings to the decoupled cross-attention layers increases control accuracy from 56.6% to 61.1%, while requiring 6.75 times fewer trainable parameters than state-of-the-art fine-tuning mechanisms, using the same pre-trained diffusion Transformer model of Stable Audio Open. We evaluate various forms of musical attribute control, audio inpainting, and audio outpainting, demonstrating improved controllability over MusicGen-Large and Stable Audio Open ControlNet at a significantly lower fine-tuning cost, with only 85M trainble parameters. Source code, model checkpoints, and demo examples are available at: https://musecontrollite.github.io/web/.