UniMuMo: 統合テキスト、音楽、動作生成

UniMuMo: Unified Text, Music and Motion Generation

October 6, 2024

著者: Han Yang, Kun Su, Yutong Zhang, Jiaben Chen, Kaizhi Qian, Gaowen Liu, Chuang Gan

cs.AI

要旨

UniMuMoは、任意のテキスト、音楽、動作データを入力条件として受け取り、すべての3つのモダリティにわたる出力を生成する統合マルチモーダルモデルを紹介します。時間同期されていないデータの欠如に対処するため、既存の大規模な音楽専用および動作専用データセットを活用するために、音楽と動作データをリズムパターンに基づいて整列させます。音楽、動作、およびテキストをトークンベースの表現に変換することで、当社のモデルはこれらのモダリティを統一されたエンコーダーデコーダートランスフォーマーアーキテクチャを介して結びつけます。単一のフレームワーク内で複数の生成タスクをサポートするために、いくつかのアーキテクチャの改善を導入します。動作を音楽のコードブックでエンコードし、動作を音楽と同じ特徴空間にマッピングすることを提案します。音楽と動作の並行生成スキームを導入し、すべての音楽と動作生成タスクを単一のトランスフォーマーデコーダーアーキテクチャに統合し、音楽-動作の共同生成の単一のトレーニングタスクで統一します。さらに、モデルは既存の事前学習された単一モダリティモデルを微調整して設計されており、計算要件を大幅に削減しています。幅広い実験により、UniMuMoが音楽、動作、およびテキストのモダリティ全体で競争力のある結果を達成していることが示されています。定量的結果は、{プロジェクトページ}でご覧いただけます。

English

We introduce UniMuMo, a unified multimodal model capable of taking arbitrary text, music, and motion data as input conditions to generate outputs across all three modalities. To address the lack of time-synchronized data, we align unpaired music and motion data based on rhythmic patterns to leverage existing large-scale music-only and motion-only datasets. By converting music, motion, and text into token-based representation, our model bridges these modalities through a unified encoder-decoder transformer architecture. To support multiple generation tasks within a single framework, we introduce several architectural improvements. We propose encoding motion with a music codebook, mapping motion into the same feature space as music. We introduce a music-motion parallel generation scheme that unifies all music and motion generation tasks into a single transformer decoder architecture with a single training task of music-motion joint generation. Moreover, the model is designed by fine-tuning existing pre-trained single-modality models, significantly reducing computational demands. Extensive experiments demonstrate that UniMuMo achieves competitive results on all unidirectional generation benchmarks across music, motion, and text modalities. Quantitative results are available in the https://hanyangclarence.github.io/unimumo_demo/{project page}.