MotionLab: Vereinheitlichte Generierung und Bearbeitung menschlicher Bewegungen über das Motion-Condition-Motion-Paradigma.

MotionLab: Unified Human Motion Generation and Editing via the Motion-Condition-Motion Paradigm

February 4, 2025

Autoren: Ziyan Guo, Zeyu Hu, Na Zhao, De Wen Soh

cs.AI

Zusammenfassung

Die Generierung und Bearbeitung menschlicher Bewegungen sind Schlüsselelemente der Computergrafik und der Bildverarbeitung. Allerdings neigen aktuelle Ansätze in diesem Bereich dazu, isolierte Lösungen anzubieten, die auf spezifische Aufgaben zugeschnitten sind, was für reale Anwendungen ineffizient und unpraktisch sein kann. Obwohl einige Bemühungen darauf abzielen, auf Bewegung bezogene Aufgaben zu vereinheitlichen, verwenden diese Methoden lediglich verschiedene Modalitäten als Bedingungen zur Steuerung der Bewegungsgenerierung. Folglich fehlen ihnen Bearbeitungsfunktionen, fein abgestimmte Kontrolle und die Möglichkeit des Wissenstransfers zwischen Aufgaben. Um diese Einschränkungen zu überwinden und ein vielseitiges, vereinheitlichtes Rahmenwerk bereitzustellen, das sowohl die Generierung als auch die Bearbeitung menschlicher Bewegungen bewältigen kann, führen wir ein neuartiges Paradigma ein: Motion-Condition-Motion, das die vereinheitlichte Formulierung verschiedener Aufgaben durch drei Konzepte ermöglicht: Ausgangsbewegung, Bedingung und Zielbewegung. Basierend auf diesem Paradigma schlagen wir ein vereinheitlichtes Rahmenwerk, MotionLab, vor, das rektifizierte Flüsse verwendet, um die Zuordnung von Ausgangsbewegung zu Zielbewegung zu erlernen, gesteuert durch die spezifizierten Bedingungen. In MotionLab führen wir 1) den MotionFlow Transformer ein, um die bedingte Generierung und Bearbeitung ohne aufgabenspezifische Module zu verbessern; 2) die Ausgerichtete Rotationspositions-Kodierung, um die Zeitsynchronisation zwischen Ausgangs- und Zielbewegung zu gewährleisten; 3) die Aufgaben-spezifische Anweisungsmodulation; und 4) das Motion Curriculum Learning für effektives Multi-Task-Learning und Wissenstransfer zwischen Aufgaben. Bemerkenswert ist, dass unser MotionLab vielversprechende Verallgemeinerungsfähigkeiten und Inferenzeffizienz über mehrere Benchmarks für menschliche Bewegungen aufweist. Unser Code und zusätzliche Videoergebnisse sind verfügbar unter: https://diouo.github.io/motionlab.github.io/.

English

Human motion generation and editing are key components of computer graphics and vision. However, current approaches in this field tend to offer isolated solutions tailored to specific tasks, which can be inefficient and impractical for real-world applications. While some efforts have aimed to unify motion-related tasks, these methods simply use different modalities as conditions to guide motion generation. Consequently, they lack editing capabilities, fine-grained control, and fail to facilitate knowledge sharing across tasks. To address these limitations and provide a versatile, unified framework capable of handling both human motion generation and editing, we introduce a novel paradigm: Motion-Condition-Motion, which enables the unified formulation of diverse tasks with three concepts: source motion, condition, and target motion. Based on this paradigm, we propose a unified framework, MotionLab, which incorporates rectified flows to learn the mapping from source motion to target motion, guided by the specified conditions. In MotionLab, we introduce the 1) MotionFlow Transformer to enhance conditional generation and editing without task-specific modules; 2) Aligned Rotational Position Encoding} to guarantee the time synchronization between source motion and target motion; 3) Task Specified Instruction Modulation; and 4) Motion Curriculum Learning for effective multi-task learning and knowledge sharing across tasks. Notably, our MotionLab demonstrates promising generalization capabilities and inference efficiency across multiple benchmarks for human motion. Our code and additional video results are available at: https://diouo.github.io/motionlab.github.io/.