Voorbeeldgebaseerde bewegingssynthese via generatieve bewegingsafstemming

Example-based Motion Synthesis via Generative Motion Matching

June 1, 2023

Auteurs: Weiyu Li, Xuelin Chen, Peizhuo Li, Olga Sorkine-Hornung, Baoquan Chen

cs.AI

Samenvatting

We presenteren GenMM, een generatief model dat zoveel mogelijk diverse bewegingen "ontgint" uit één of enkele voorbeeldsequenties. In schril contrast met bestaande data-gedreven methoden, die doorgaans lange offline trainingstijden vereisen, gevoelig zijn voor visuele artefacten, en vaak falen bij grote en complexe skeletten, erft GenMM de training-vrije aard en de superieure kwaliteit van de bekende Motion Matching-methode. GenMM kan binnen een fractie van een seconde een hoogwaardige beweging synthetiseren, zelfs bij zeer complexe en grote skeletstructuren. De kern van ons generatieve raamwerk is de generatieve motion matching-module, die bidirectionele visuele gelijkenis gebruikt als een generatieve kostenfunctie voor motion matching, en opereert in een meerfasen raamwerk om een willekeurige gok progressief te verfijnen met behulp van voorbeeldbewegingsmatches. Naast diverse bewegingsgeneratie, tonen we de veelzijdigheid van ons generatieve raamwerk door het uit te breiden naar een aantal scenario's die niet mogelijk zijn met motion matching alleen, waaronder bewegingscompletering, sleutelframe-geleide generatie, oneindig loopen en bewegingsherassemblage. Code en data voor dit artikel zijn te vinden op https://wyysf-98.github.io/GenMM/.

English

We present GenMM, a generative model that "mines" as many diverse motions as possible from a single or few example sequences. In stark contrast to existing data-driven methods, which typically require long offline training time, are prone to visual artifacts, and tend to fail on large and complex skeletons, GenMM inherits the training-free nature and the superior quality of the well-known Motion Matching method. GenMM can synthesize a high-quality motion within a fraction of a second, even with highly complex and large skeletal structures. At the heart of our generative framework lies the generative motion matching module, which utilizes the bidirectional visual similarity as a generative cost function to motion matching, and operates in a multi-stage framework to progressively refine a random guess using exemplar motion matches. In addition to diverse motion generation, we show the versatility of our generative framework by extending it to a number of scenarios that are not possible with motion matching alone, including motion completion, key frame-guided generation, infinite looping, and motion reassembly. Code and data for this paper are at https://wyysf-98.github.io/GenMM/