Sintesi del movimento basata su esempi tramite corrispondenza generativa del movimento

Example-based Motion Synthesis via Generative Motion Matching

June 1, 2023

Autori: Weiyu Li, Xuelin Chen, Peizhuo Li, Olga Sorkine-Hornung, Baoquan Chen

cs.AI

Abstract

Presentiamo GenMM, un modello generativo che "estrae" il maggior numero possibile di movimenti diversi da una o poche sequenze di esempio. In netto contrasto con i metodi esistenti basati sui dati, che tipicamente richiedono lunghi tempi di addestramento offline, sono soggetti ad artefatti visivi e tendono a fallire su scheletri grandi e complessi, GenMM eredita la natura priva di addestramento e la qualità superiore del noto metodo Motion Matching. GenMM è in grado di sintetizzare un movimento di alta qualità in una frazione di secondo, anche con strutture scheletriche altamente complesse e di grandi dimensioni. Al centro del nostro framework generativo si trova il modulo di generative motion matching, che utilizza la similarità visiva bidirezionale come funzione di costo generativa per il motion matching e opera in un framework multi-stadio per affinare progressivamente un'ipotesi casuale utilizzando corrispondenze di movimento esemplari. Oltre alla generazione di movimenti diversi, dimostriamo la versatilità del nostro framework generativo estendendolo a una serie di scenari non possibili con il solo motion matching, tra cui il completamento del movimento, la generazione guidata da fotogrammi chiave, il looping infinito e il riassemblaggio del movimento. Il codice e i dati per questo articolo sono disponibili su https://wyysf-98.github.io/GenMM/.

English

We present GenMM, a generative model that "mines" as many diverse motions as possible from a single or few example sequences. In stark contrast to existing data-driven methods, which typically require long offline training time, are prone to visual artifacts, and tend to fail on large and complex skeletons, GenMM inherits the training-free nature and the superior quality of the well-known Motion Matching method. GenMM can synthesize a high-quality motion within a fraction of a second, even with highly complex and large skeletal structures. At the heart of our generative framework lies the generative motion matching module, which utilizes the bidirectional visual similarity as a generative cost function to motion matching, and operates in a multi-stage framework to progressively refine a random guess using exemplar motion matches. In addition to diverse motion generation, we show the versatility of our generative framework by extending it to a number of scenarios that are not possible with motion matching alone, including motion completion, key frame-guided generation, infinite looping, and motion reassembly. Code and data for this paper are at https://wyysf-98.github.io/GenMM/