UniMuMo: Geração Unificada de Texto, Música e Movimento

UniMuMo: Unified Text, Music and Motion Generation

October 6, 2024

Autores: Han Yang, Kun Su, Yutong Zhang, Jiaben Chen, Kaizhi Qian, Gaowen Liu, Chuang Gan

cs.AI

Resumo

Apresentamos o UniMuMo, um modelo multimodal unificado capaz de receber dados arbitrários de texto, música e movimento como condições de entrada para gerar saídas em todas as três modalidades. Para lidar com a falta de dados sincronizados no tempo, alinhamos dados não pareados de música e movimento com base em padrões rítmicos para aproveitar conjuntos de dados existentes de música e movimento em larga escala. Ao converter música, movimento e texto em representação baseada em tokens, nosso modelo conecta essas modalidades por meio de uma arquitetura unificada de transformador codificador-decodificador. Para suportar múltiplas tarefas de geração dentro de um único framework, introduzimos várias melhorias arquiteturais. Propomos codificar movimento com um livro de códigos de música, mapeando o movimento no mesmo espaço de características da música. Introduzimos um esquema de geração paralela música-movimento que unifica todas as tarefas de geração de música e movimento em uma única arquitetura de decodificador de transformador com uma única tarefa de treinamento de geração conjunta de música-movimento. Além disso, o modelo é projetado por meio do ajuste fino de modelos pré-treinados de única modalidade, reduzindo significativamente as demandas computacionais. Experimentos extensivos demonstram que o UniMuMo alcança resultados competitivos em todos os benchmarks de geração unidirecional em todas as modalidades de música, movimento e texto. Resultados quantitativos estão disponíveis na página do projeto: https://hanyangclarence.github.io/unimumo_demo/.

English

We introduce UniMuMo, a unified multimodal model capable of taking arbitrary text, music, and motion data as input conditions to generate outputs across all three modalities. To address the lack of time-synchronized data, we align unpaired music and motion data based on rhythmic patterns to leverage existing large-scale music-only and motion-only datasets. By converting music, motion, and text into token-based representation, our model bridges these modalities through a unified encoder-decoder transformer architecture. To support multiple generation tasks within a single framework, we introduce several architectural improvements. We propose encoding motion with a music codebook, mapping motion into the same feature space as music. We introduce a music-motion parallel generation scheme that unifies all music and motion generation tasks into a single transformer decoder architecture with a single training task of music-motion joint generation. Moreover, the model is designed by fine-tuning existing pre-trained single-modality models, significantly reducing computational demands. Extensive experiments demonstrate that UniMuMo achieves competitive results on all unidirectional generation benchmarks across music, motion, and text modalities. Quantitative results are available in the https://hanyangclarence.github.io/unimumo_demo/{project page}.