UniMuMo: Объединенная генерация текста, музыки и движения

UniMuMo: Unified Text, Music and Motion Generation

October 6, 2024

Авторы: Han Yang, Kun Su, Yutong Zhang, Jiaben Chen, Kaizhi Qian, Gaowen Liu, Chuang Gan

cs.AI

Аннотация

Мы представляем UniMuMo - объединенную мультимодальную модель, способную принимать произвольные текстовые, музыкальные и движущиеся данные в качестве входных условий для генерации результатов во всех трех модальностях. Для решения проблемы отсутствия синхронизированных по времени данных мы выравниваем непарные музыкальные и движущиеся данные на основе ритмических паттернов, чтобы воспользоваться существующими крупномасштабными наборами данных только по музыке и только по движению. Преобразуя музыку, движение и текст в токен-основанное представление, наша модель соединяет эти модальности через объединенную архитектуру кодировщика-декодера трансформера. Для поддержки нескольких задач генерации в рамках одной структуры мы внедряем несколько архитектурных улучшений. Мы предлагаем кодировать движение с помощью музыкального кодового книги, отображая движение в тот же пространственный признак, что и музыка. Мы вводим схему параллельной генерации музыки и движения, объединяющую все задачи генерации музыки и движения в единую архитектуру декодера трансформера с единственной задачей обучения совместной генерации музыки и движения. Более того, модель разработана путем донастройки существующих предварительно обученных моделей с одной модальностью, что значительно снижает вычислительные требования. Обширные эксперименты показывают, что UniMuMo достигает конкурентоспособных результатов на всех однонаправленных бенчмарках генерации в области музыки, движения и текста. Количественные результаты доступны на странице проекта: https://hanyangclarence.github.io/unimumo_demo/.

English

We introduce UniMuMo, a unified multimodal model capable of taking arbitrary text, music, and motion data as input conditions to generate outputs across all three modalities. To address the lack of time-synchronized data, we align unpaired music and motion data based on rhythmic patterns to leverage existing large-scale music-only and motion-only datasets. By converting music, motion, and text into token-based representation, our model bridges these modalities through a unified encoder-decoder transformer architecture. To support multiple generation tasks within a single framework, we introduce several architectural improvements. We propose encoding motion with a music codebook, mapping motion into the same feature space as music. We introduce a music-motion parallel generation scheme that unifies all music and motion generation tasks into a single transformer decoder architecture with a single training task of music-motion joint generation. Moreover, the model is designed by fine-tuning existing pre-trained single-modality models, significantly reducing computational demands. Extensive experiments demonstrate that UniMuMo achieves competitive results on all unidirectional generation benchmarks across music, motion, and text modalities. Quantitative results are available in the https://hanyangclarence.github.io/unimumo_demo/{project page}.