UniMuMo: Generación Unificada de Texto, Música y Movimiento

UniMuMo: Unified Text, Music and Motion Generation

October 6, 2024

Autores: Han Yang, Kun Su, Yutong Zhang, Jiaben Chen, Kaizhi Qian, Gaowen Liu, Chuang Gan

cs.AI

Resumen

Presentamos UniMuMo, un modelo multimodal unificado capaz de tomar datos de texto, música y movimiento arbitrarios como condiciones de entrada para generar resultados en las tres modalidades. Para abordar la falta de datos sincronizados en el tiempo, alineamos datos de música y movimiento no emparejados basándonos en patrones rítmicos para aprovechar conjuntos de datos existentes a gran escala de solo música y solo movimiento. Al convertir música, movimiento y texto en una representación basada en tokens, nuestro modelo conecta estas modalidades a través de una arquitectura de transformador codificador-decodificador unificada. Para admitir múltiples tareas de generación dentro de un solo marco, introducimos varias mejoras arquitectónicas. Proponemos codificar el movimiento con un libro de códigos de música, mapeando el movimiento en el mismo espacio de características que la música. Introducimos un esquema de generación paralela música-movimiento que unifica todas las tareas de generación de música y movimiento en una sola arquitectura de decodificador de transformador con una única tarea de entrenamiento de generación conjunta música-movimiento. Además, el modelo está diseñado mediante el ajuste fino de modelos pre-entrenados de una sola modalidad, reduciendo significativamente las demandas computacionales. Experimentos extensos demuestran que UniMuMo logra resultados competitivos en todos los puntos de referencia de generación unidireccional en las modalidades de música, movimiento y texto. Los resultados cuantitativos están disponibles en la página del proyecto: https://hanyangclarence.github.io/unimumo_demo/.

English

We introduce UniMuMo, a unified multimodal model capable of taking arbitrary text, music, and motion data as input conditions to generate outputs across all three modalities. To address the lack of time-synchronized data, we align unpaired music and motion data based on rhythmic patterns to leverage existing large-scale music-only and motion-only datasets. By converting music, motion, and text into token-based representation, our model bridges these modalities through a unified encoder-decoder transformer architecture. To support multiple generation tasks within a single framework, we introduce several architectural improvements. We propose encoding motion with a music codebook, mapping motion into the same feature space as music. We introduce a music-motion parallel generation scheme that unifies all music and motion generation tasks into a single transformer decoder architecture with a single training task of music-motion joint generation. Moreover, the model is designed by fine-tuning existing pre-trained single-modality models, significantly reducing computational demands. Extensive experiments demonstrate that UniMuMo achieves competitive results on all unidirectional generation benchmarks across music, motion, and text modalities. Quantitative results are available in the https://hanyangclarence.github.io/unimumo_demo/{project page}.