WalkTheDog: 位相多様体を介したクロスモルフォロジー運動アラインメント

WalkTheDog: Cross-Morphology Motion Alignment via Phase Manifolds

July 11, 2024

著者: Peizhuo Li, Sebastian Starke, Yuting Ye, Olga Sorkine-Hornung

cs.AI

要旨

我々は、キャラクターの形態や骨格構造に依存せずに、モーションデータセットの周期性構造と意味論を理解するための新しいアプローチを提案します。既存の手法では過度に疎な高次元潜在空間を使用するのに対し、我々は複数の閉曲線からなる位相多様体を提案します。各曲線は潜在的な振幅に対応しています。提案するベクトル量子化周期オートエンコーダを用いることで、人間や犬など複数のキャラクターに対して、教師なしで共有の位相多様体を学習します。これは、離散構造と浅いネットワークをボトルネックとして活用することで実現され、意味的に類似したモーションが多様体の同じ曲線にクラスタリングされ、同じ成分内のモーションは位相変数によって時間的に整列されます。改良されたモーションマッチングフレームワークと組み合わせることで、モーション検索、転送、スタイライゼーションを含むいくつかのアプリケーションにおいて、タイミングと意味論の整列能力を実証します。本論文のコードと事前学習済みモデルはhttps://peizhuoli.github.io/walkthedogで公開されています。

English

We present a new approach for understanding the periodicity structure and semantics of motion datasets, independently of the morphology and skeletal structure of characters. Unlike existing methods using an overly sparse high-dimensional latent, we propose a phase manifold consisting of multiple closed curves, each corresponding to a latent amplitude. With our proposed vector quantized periodic autoencoder, we learn a shared phase manifold for multiple characters, such as a human and a dog, without any supervision. This is achieved by exploiting the discrete structure and a shallow network as bottlenecks, such that semantically similar motions are clustered into the same curve of the manifold, and the motions within the same component are aligned temporally by the phase variable. In combination with an improved motion matching framework, we demonstrate the manifold's capability of timing and semantics alignment in several applications, including motion retrieval, transfer and stylization. Code and pre-trained models for this paper are available at https://peizhuoli.github.io/walkthedog.