Síntese de Movimento Baseada em Exemplos via Correspondência de Movimento Generativa

Example-based Motion Synthesis via Generative Motion Matching

June 1, 2023

Autores: Weiyu Li, Xuelin Chen, Peizhuo Li, Olga Sorkine-Hornung, Baoquan Chen

cs.AI

Resumo

Apresentamos o GenMM, um modelo generativo que "extrai" o maior número possível de movimentos diversos a partir de uma única ou poucas sequências de exemplo. Em contraste marcante com os métodos baseados em dados existentes, que geralmente exigem um longo tempo de treinamento offline, são propensos a artefatos visuais e tendem a falhar em esqueletos grandes e complexos, o GenMM herda a natureza livre de treinamento e a qualidade superior do conhecido método Motion Matching. O GenMM pode sintetizar um movimento de alta qualidade em uma fração de segundo, mesmo com estruturas esqueléticas altamente complexas e grandes. No cerne de nossa estrutura generativa está o módulo de correspondência de movimento generativo, que utiliza a similaridade visual bidirecional como uma função de custo generativa para a correspondência de movimento e opera em uma estrutura de múltiplos estágios para refinar progressivamente uma estimativa aleatória usando correspondências de movimento exemplares. Além da geração de movimentos diversos, mostramos a versatilidade de nossa estrutura generativa ao estendê-la para vários cenários que não são possíveis com a correspondência de movimento sozinha, incluindo conclusão de movimento, geração guiada por quadros-chave, looping infinito e remontagem de movimento. O código e os dados deste artigo estão disponíveis em https://wyysf-98.github.io/GenMM/.

English

We present GenMM, a generative model that "mines" as many diverse motions as possible from a single or few example sequences. In stark contrast to existing data-driven methods, which typically require long offline training time, are prone to visual artifacts, and tend to fail on large and complex skeletons, GenMM inherits the training-free nature and the superior quality of the well-known Motion Matching method. GenMM can synthesize a high-quality motion within a fraction of a second, even with highly complex and large skeletal structures. At the heart of our generative framework lies the generative motion matching module, which utilizes the bidirectional visual similarity as a generative cost function to motion matching, and operates in a multi-stage framework to progressively refine a random guess using exemplar motion matches. In addition to diverse motion generation, we show the versatility of our generative framework by extending it to a number of scenarios that are not possible with motion matching alone, including motion completion, key frame-guided generation, infinite looping, and motion reassembly. Code and data for this paper are at https://wyysf-98.github.io/GenMM/