Beispielbasierte Bewegungssynthese durch generatives Motion Matching

Example-based Motion Synthesis via Generative Motion Matching

June 1, 2023

Autoren: Weiyu Li, Xuelin Chen, Peizhuo Li, Olga Sorkine-Hornung, Baoquan Chen

cs.AI

Zusammenfassung

Wir stellen GenMM vor, ein generatives Modell, das so viele verschiedene Bewegungen wie möglich aus einer oder wenigen Beispielsequenzen „extrahiert“. Im deutlichen Gegensatz zu bestehenden datengetriebenen Methoden, die typischerweise lange Offline-Trainingszeiten erfordern, anfällig für visuelle Artefakte sind und bei großen und komplexen Skeletten oft versagen, erbt GenMM die trainingsfreie Natur und die überlegene Qualität der bekannten Motion-Matching-Methode. GenMM kann eine hochwertige Bewegung in einem Bruchteil einer Sekunde synthetisieren, selbst bei hochkomplexen und großen Skelettstrukturen. Im Kern unseres generativen Frameworks liegt das generative Motion-Matching-Modul, das die bidirektionale visuelle Ähnlichkeit als generative Kostenfunktion für Motion Matching nutzt und in einem mehrstufigen Framework arbeitet, um eine zufällige Schätzung schrittweise mithilfe von exemplarischen Bewegungsübereinstimmungen zu verfeinern. Neben der Erzeugung vielfältiger Bewegungen zeigen wir die Vielseitigkeit unseres generativen Frameworks, indem wir es auf eine Reihe von Szenarien erweitern, die mit Motion Matching allein nicht möglich sind, darunter Bewegungsvervollständigung, Schlüsselbild-gesteuerte Erzeugung, endlose Schleifen und Bewegungsneuzusammensetzung. Code und Daten für dieses Papier finden Sie unter https://wyysf-98.github.io/GenMM/.

English

We present GenMM, a generative model that "mines" as many diverse motions as possible from a single or few example sequences. In stark contrast to existing data-driven methods, which typically require long offline training time, are prone to visual artifacts, and tend to fail on large and complex skeletons, GenMM inherits the training-free nature and the superior quality of the well-known Motion Matching method. GenMM can synthesize a high-quality motion within a fraction of a second, even with highly complex and large skeletal structures. At the heart of our generative framework lies the generative motion matching module, which utilizes the bidirectional visual similarity as a generative cost function to motion matching, and operates in a multi-stage framework to progressively refine a random guess using exemplar motion matches. In addition to diverse motion generation, we show the versatility of our generative framework by extending it to a number of scenarios that are not possible with motion matching alone, including motion completion, key frame-guided generation, infinite looping, and motion reassembly. Code and data for this paper are at https://wyysf-98.github.io/GenMM/