WalkTheDog: Alinhamento de Movimento Cruzado por Morfologia via Manifolds de Fase

WalkTheDog: Cross-Morphology Motion Alignment via Phase Manifolds

July 11, 2024

Autores: Peizhuo Li, Sebastian Starke, Yuting Ye, Olga Sorkine-Hornung

cs.AI

Resumo

Apresentamos uma nova abordagem para compreender a estrutura de periodicidade e semântica de conjuntos de dados de movimento, independentemente da morfologia e estrutura esquelética dos personagens. Ao contrário dos métodos existentes que utilizam um espaço latente excessivamente esparsa de alta dimensão, propomos um espaço de fases composto por múltiplas curvas fechadas, cada uma correspondendo a uma amplitude latente. Com nosso autoencoder periódico vetor quantizado proposto, aprendemos um espaço de fases compartilhado para vários personagens, como um humano e um cachorro, sem supervisão. Isso é alcançado explorando a estrutura discreta e uma rede rasa como gargalos, de modo que movimentos semanticamente semelhantes sejam agrupados na mesma curva do espaço, e os movimentos dentro do mesmo componente sejam alinhados temporalmente pela variável de fase. Em combinação com um framework de correspondência de movimento aprimorado, demonstramos a capacidade do espaço de fases de alinhamento temporal e semântico em várias aplicações, incluindo recuperação, transferência e estilização de movimento. O código e os modelos pré-treinados para este artigo estão disponíveis em https://peizhuoli.github.io/walkthedog.

English

We present a new approach for understanding the periodicity structure and semantics of motion datasets, independently of the morphology and skeletal structure of characters. Unlike existing methods using an overly sparse high-dimensional latent, we propose a phase manifold consisting of multiple closed curves, each corresponding to a latent amplitude. With our proposed vector quantized periodic autoencoder, we learn a shared phase manifold for multiple characters, such as a human and a dog, without any supervision. This is achieved by exploiting the discrete structure and a shallow network as bottlenecks, such that semantically similar motions are clustered into the same curve of the manifold, and the motions within the same component are aligned temporally by the phase variable. In combination with an improved motion matching framework, we demonstrate the manifold's capability of timing and semantics alignment in several applications, including motion retrieval, transfer and stylization. Code and pre-trained models for this paper are available at https://peizhuoli.github.io/walkthedog.