UniMuMo: Vereinigte Generierung von Text, Musik und Bewegung

UniMuMo: Unified Text, Music and Motion Generation

October 6, 2024

Autoren: Han Yang, Kun Su, Yutong Zhang, Jiaben Chen, Kaizhi Qian, Gaowen Liu, Chuang Gan

cs.AI

Zusammenfassung

Wir stellen UniMuMo vor, ein vereinheitlichtes multimodales Modell, das in der Lage ist, beliebige Text-, Musik- und Bewegungsdaten als Eingabebedingungen zu akzeptieren, um Ausgaben in allen drei Modalitäten zu generieren. Um dem Mangel an zeitlich synchronisierten Daten entgegenzuwirken, gleichen wir unpaarte Musik- und Bewegungsdaten basierend auf rhythmischen Mustern ab, um vorhandene umfangreiche Datensätze nur für Musik und nur für Bewegung zu nutzen. Indem wir Musik, Bewegung und Text in eine tokenbasierte Darstellung umwandeln, verbindet unser Modell diese Modalitäten durch eine vereinheitlichte Encoder-Decoder-Transformer-Architektur. Um mehrere Generierungsaufgaben innerhalb eines einzigen Rahmens zu unterstützen, führen wir mehrere architektonische Verbesserungen ein. Wir schlagen vor, Bewegung mit einem Musik-Codebuch zu kodieren, Bewegung in denselben Merkmalsraum wie Musik abzubilden. Wir führen ein Musik-Bewegungs-Parallelgenerierungsschema ein, das alle Musik- und Bewegungsgenerierungsaufgaben in eine einzige Transformer-Decoder-Architektur mit einer einzigen Trainingsaufgabe der gemeinsamen Musik-Bewegungs-Generierung vereint. Darüber hinaus ist das Modell durch Feinabstimmung vorhandener vortrainierter Einzelmodalitätsmodelle konzipiert, was den Rechenaufwand erheblich reduziert. Umfangreiche Experimente zeigen, dass UniMuMo wettbewerbsfähige Ergebnisse auf allen unidirektionalen Generierungsbenchmarks in den Modalitäten Musik, Bewegung und Text erzielt. Quantitative Ergebnisse sind auf der Projektseite unter https://hanyangclarence.github.io/unimumo_demo/ verfügbar.

English

We introduce UniMuMo, a unified multimodal model capable of taking arbitrary text, music, and motion data as input conditions to generate outputs across all three modalities. To address the lack of time-synchronized data, we align unpaired music and motion data based on rhythmic patterns to leverage existing large-scale music-only and motion-only datasets. By converting music, motion, and text into token-based representation, our model bridges these modalities through a unified encoder-decoder transformer architecture. To support multiple generation tasks within a single framework, we introduce several architectural improvements. We propose encoding motion with a music codebook, mapping motion into the same feature space as music. We introduce a music-motion parallel generation scheme that unifies all music and motion generation tasks into a single transformer decoder architecture with a single training task of music-motion joint generation. Moreover, the model is designed by fine-tuning existing pre-trained single-modality models, significantly reducing computational demands. Extensive experiments demonstrate that UniMuMo achieves competitive results on all unidirectional generation benchmarks across music, motion, and text modalities. Quantitative results are available in the https://hanyangclarence.github.io/unimumo_demo/{project page}.