Synthèse de mouvement par exemples via appariement génératif de mouvements

Example-based Motion Synthesis via Generative Motion Matching

June 1, 2023

Auteurs: Weiyu Li, Xuelin Chen, Peizhuo Li, Olga Sorkine-Hornung, Baoquan Chen

cs.AI

Résumé

Nous présentons GenMM, un modèle génératif qui "extrait" autant de mouvements divers que possible à partir d'une seule ou de quelques séquences d'exemple. Contrairement aux méthodes existantes basées sur les données, qui nécessitent généralement un long temps d'entraînement hors ligne, sont sujettes à des artefacts visuels, et ont tendance à échouer sur des squelettes complexes et de grande taille, GenMM hérite de la nature sans entraînement et de la qualité supérieure de la méthode bien connue de Motion Matching. GenMM peut synthétiser un mouvement de haute qualité en une fraction de seconde, même avec des structures squelettiques très complexes et de grande taille. Au cœur de notre cadre génératif se trouve le module de génération de correspondance de mouvements, qui utilise la similarité visuelle bidirectionnelle comme fonction de coût générative pour la correspondance de mouvements, et opère dans un cadre multi-étapes pour affiner progressivement une estimation aléatoire en utilisant des correspondances de mouvements exemplaires. En plus de la génération de mouvements divers, nous montrons la polyvalence de notre cadre génératif en l'étendant à un certain nombre de scénarios qui ne sont pas possibles avec la seule correspondance de mouvements, y compris la complétion de mouvements, la génération guidée par des images clés, la boucle infinie et le réassemblage de mouvements. Le code et les données pour cet article sont disponibles à l'adresse https://wyysf-98.github.io/GenMM/.

English

We present GenMM, a generative model that "mines" as many diverse motions as possible from a single or few example sequences. In stark contrast to existing data-driven methods, which typically require long offline training time, are prone to visual artifacts, and tend to fail on large and complex skeletons, GenMM inherits the training-free nature and the superior quality of the well-known Motion Matching method. GenMM can synthesize a high-quality motion within a fraction of a second, even with highly complex and large skeletal structures. At the heart of our generative framework lies the generative motion matching module, which utilizes the bidirectional visual similarity as a generative cost function to motion matching, and operates in a multi-stage framework to progressively refine a random guess using exemplar motion matches. In addition to diverse motion generation, we show the versatility of our generative framework by extending it to a number of scenarios that are not possible with motion matching alone, including motion completion, key frame-guided generation, infinite looping, and motion reassembly. Code and data for this paper are at https://wyysf-98.github.io/GenMM/