UniMuMo: Geïntegreerde Generatie van Tekst, Muziek en Beweging

UniMuMo: Unified Text, Music and Motion Generation

October 6, 2024

Auteurs: Han Yang, Kun Su, Yutong Zhang, Jiaben Chen, Kaizhi Qian, Gaowen Liu, Chuang Gan

cs.AI

Samenvatting

We introduceren UniMuMo, een verenigd multimodaal model dat in staat is willekeurige tekst-, muziek- en bewegingsgegevens als invoercondities te gebruiken om uitvoer te genereren over alle drie modaliteiten. Om het gebrek aan tijdgesynchroniseerde gegevens aan te pakken, aligneren we ongepaarde muziek- en bewegingsgegevens op basis van ritmische patronen om gebruik te maken van bestaande grootschalige datasets die alleen muziek of alleen beweging bevatten. Door muziek, beweging en tekst om te zetten in op tokens gebaseerde representatie, overbrugt ons model deze modaliteiten via een verenigde encoder-decoder transformer-architectuur. Om meerdere generatietaken binnen een enkel kader te ondersteunen, introduceren we verschillende architecturale verbeteringen. We stellen voor om beweging te encoderen met een muziekcodeboek, waarbij beweging wordt gemapt naar dezelfde eigenschapsruimte als muziek. We introduceren een muziek-beweging parallel generatieschema dat alle muziek- en bewegingsgeneratietaken verenigt in een enkele transformer-decoderarchitectuur met een enkele trainingsopdracht voor gezamenlijke muziek-bewegingsgeneratie. Bovendien is het model ontworpen door bestaande voorgeleerde single-modality modellen fijn af te stemmen, waardoor de rekenvereisten aanzienlijk worden verminderd. Uitgebreide experimenten tonen aan dat UniMuMo competitieve resultaten behaalt op alle eenrichtingsgeneratie-benchmarks over muziek, beweging en tekstmodaliteiten. Kwantitatieve resultaten zijn beschikbaar op de {projectpagina} https://hanyangclarence.github.io/unimumo_demo/.

English

We introduce UniMuMo, a unified multimodal model capable of taking arbitrary text, music, and motion data as input conditions to generate outputs across all three modalities. To address the lack of time-synchronized data, we align unpaired music and motion data based on rhythmic patterns to leverage existing large-scale music-only and motion-only datasets. By converting music, motion, and text into token-based representation, our model bridges these modalities through a unified encoder-decoder transformer architecture. To support multiple generation tasks within a single framework, we introduce several architectural improvements. We propose encoding motion with a music codebook, mapping motion into the same feature space as music. We introduce a music-motion parallel generation scheme that unifies all music and motion generation tasks into a single transformer decoder architecture with a single training task of music-motion joint generation. Moreover, the model is designed by fine-tuning existing pre-trained single-modality models, significantly reducing computational demands. Extensive experiments demonstrate that UniMuMo achieves competitive results on all unidirectional generation benchmarks across music, motion, and text modalities. Quantitative results are available in the https://hanyangclarence.github.io/unimumo_demo/{project page}.