Síntesis de Movimiento Basada en Ejemplos mediante Emparejamiento de Movimiento Generativo

Example-based Motion Synthesis via Generative Motion Matching

June 1, 2023

Autores: Weiyu Li, Xuelin Chen, Peizhuo Li, Olga Sorkine-Hornung, Baoquan Chen

cs.AI

Resumen

Presentamos GenMM, un modelo generativo que "extrae" la mayor cantidad de movimientos diversos posibles a partir de una o pocas secuencias de ejemplo. En marcado contraste con los métodos existentes basados en datos, que generalmente requieren un largo tiempo de entrenamiento offline, son propensos a artefactos visuales y tienden a fallar en esqueletos grandes y complejos, GenMM hereda la naturaleza libre de entrenamiento y la calidad superior del conocido método de Motion Matching. GenMM puede sintetizar un movimiento de alta calidad en una fracción de segundo, incluso con estructuras esqueléticas altamente complejas y grandes. En el núcleo de nuestro marco generativo se encuentra el módulo de emparejamiento de movimiento generativo, que utiliza la similitud visual bidireccional como función de costo generativa para el emparejamiento de movimiento, y opera en un marco de múltiples etapas para refinar progresivamente una conjetura aleatoria utilizando coincidencias de movimiento ejemplares. Además de la generación de movimientos diversos, demostramos la versatilidad de nuestro marco generativo al extenderlo a varios escenarios que no son posibles con el emparejamiento de movimiento por sí solo, incluyendo la completación de movimiento, la generación guiada por fotogramas clave, el bucle infinito y el reensamblaje de movimiento. El código y los datos de este artículo se encuentran en https://wyysf-98.github.io/GenMM/.

English

We present GenMM, a generative model that "mines" as many diverse motions as possible from a single or few example sequences. In stark contrast to existing data-driven methods, which typically require long offline training time, are prone to visual artifacts, and tend to fail on large and complex skeletons, GenMM inherits the training-free nature and the superior quality of the well-known Motion Matching method. GenMM can synthesize a high-quality motion within a fraction of a second, even with highly complex and large skeletal structures. At the heart of our generative framework lies the generative motion matching module, which utilizes the bidirectional visual similarity as a generative cost function to motion matching, and operates in a multi-stage framework to progressively refine a random guess using exemplar motion matches. In addition to diverse motion generation, we show the versatility of our generative framework by extending it to a number of scenarios that are not possible with motion matching alone, including motion completion, key frame-guided generation, infinite looping, and motion reassembly. Code and data for this paper are at https://wyysf-98.github.io/GenMM/