WalkTheDog : Alignement de mouvements inter-morphologies via des variétés de phase

WalkTheDog: Cross-Morphology Motion Alignment via Phase Manifolds

July 11, 2024

Auteurs: Peizhuo Li, Sebastian Starke, Yuting Ye, Olga Sorkine-Hornung

cs.AI

Résumé

Nous présentons une nouvelle approche pour comprendre la structure périodique et la sémantique des ensembles de données de mouvement, indépendamment de la morphologie et de la structure squelettique des personnages. Contrairement aux méthodes existantes qui utilisent un espace latent de haute dimension excessivement parcimonieux, nous proposons une variété de phase composée de multiples courbes fermées, chacune correspondant à une amplitude latente. Grâce à notre autoencodeur périodique à quantification vectorielle, nous apprenons une variété de phase partagée pour plusieurs personnages, tels qu'un humain et un chien, sans aucune supervision. Ceci est réalisé en exploitant la structure discrète et un réseau peu profond comme goulots d'étranglement, de sorte que les mouvements sémantiquement similaires soient regroupés dans la même courbe de la variété, et que les mouvements au sein de la même composante soient alignés temporellement par la variable de phase. En combinaison avec un cadre amélioré de correspondance de mouvement, nous démontrons la capacité de la variété à aligner le timing et la sémantique dans plusieurs applications, notamment la récupération, le transfert et la stylisation de mouvements. Le code et les modèles pré-entraînés pour cet article sont disponibles à l'adresse https://peizhuoli.github.io/walkthedog.

English

We present a new approach for understanding the periodicity structure and semantics of motion datasets, independently of the morphology and skeletal structure of characters. Unlike existing methods using an overly sparse high-dimensional latent, we propose a phase manifold consisting of multiple closed curves, each corresponding to a latent amplitude. With our proposed vector quantized periodic autoencoder, we learn a shared phase manifold for multiple characters, such as a human and a dog, without any supervision. This is achieved by exploiting the discrete structure and a shallow network as bottlenecks, such that semantically similar motions are clustered into the same curve of the manifold, and the motions within the same component are aligned temporally by the phase variable. In combination with an improved motion matching framework, we demonstrate the manifold's capability of timing and semantics alignment in several applications, including motion retrieval, transfer and stylization. Code and pre-trained models for this paper are available at https://peizhuoli.github.io/walkthedog.