事例ベースのモーション合成における生成的モーションマッチング

要旨

本論文では、単一または少数の例シーケンスから可能な限り多様なモーションを「採掘」する生成モデルGenMMを提案する。既存のデータ駆動型手法とは対照的に、GenMMは長時間のオフライントレーニングを必要とせず、視覚的なアーティファクトが生じにくく、大規模で複雑なスケルトンでも失敗しにくいという、有名なMotion Matching手法のトレーニング不要な性質と優れた品質を継承している。GenMMは、非常に複雑で大規模な骨格構造であっても、わずかな時間で高品質なモーションを合成することができる。本生成フレームワークの中核には、生成モーションマッチングモジュールがあり、双方向の視覚的類似性を生成コスト関数としてモーションマッチングに活用し、多段階フレームワークでランダムな推測を段階的に洗練させる。多様なモーション生成に加えて、本生成フレームワークの汎用性を、モーション補完、キーフレームガイド生成、無限ループ、モーション再構築など、モーションマッチング単独では不可能な数多くのシナリオに拡張することで示す。本論文のコードとデータはhttps://wyysf-98.github.io/GenMM/にて公開されている。

English

We present GenMM, a generative model that "mines" as many diverse motions as possible from a single or few example sequences. In stark contrast to existing data-driven methods, which typically require long offline training time, are prone to visual artifacts, and tend to fail on large and complex skeletons, GenMM inherits the training-free nature and the superior quality of the well-known Motion Matching method. GenMM can synthesize a high-quality motion within a fraction of a second, even with highly complex and large skeletal structures. At the heart of our generative framework lies the generative motion matching module, which utilizes the bidirectional visual similarity as a generative cost function to motion matching, and operates in a multi-stage framework to progressively refine a random guess using exemplar motion matches. In addition to diverse motion generation, we show the versatility of our generative framework by extending it to a number of scenarios that are not possible with motion matching alone, including motion completion, key frame-guided generation, infinite looping, and motion reassembly. Code and data for this paper are at https://wyysf-98.github.io/GenMM/

事例ベースのモーション合成における生成的モーションマッチング

Example-based Motion Synthesis via Generative Motion Matching

要旨

Support