WalkTheDog: Alineación de Movimiento Cruzado de Morfología a través de Manifolds de Fase

WalkTheDog: Cross-Morphology Motion Alignment via Phase Manifolds

July 11, 2024

Autores: Peizhuo Li, Sebastian Starke, Yuting Ye, Olga Sorkine-Hornung

cs.AI

Resumen

Presentamos un nuevo enfoque para comprender la estructura de periodicidad y semántica de conjuntos de datos de movimiento, independientemente de la morfología y estructura esquelética de los personajes. A diferencia de los métodos existentes que utilizan un espacio latente de alta dimensionalidad excesivamente disperso, proponemos un espacio de fases compuesto por múltiples curvas cerradas, cada una correspondiente a una amplitud latente. Con nuestro autoencoder periódico vector cuantificado propuesto, aprendemos un espacio de fases compartido para múltiples personajes, como un humano y un perro, sin ninguna supervisión. Esto se logra explotando la estructura discreta y una red superficial como cuellos de botella, de modo que los movimientos semánticamente similares se agrupen en la misma curva del espacio, y los movimientos dentro del mismo componente se alineen temporalmente por la variable de fase. En combinación con un marco de coincidencia de movimiento mejorado, demostramos la capacidad del espacio de fases para el alineamiento temporal y semántico en varias aplicaciones, incluyendo la recuperación, transferencia y estilización de movimiento. El código y los modelos pre-entrenados para este artículo están disponibles en https://peizhuoli.github.io/walkthedog.

English

We present a new approach for understanding the periodicity structure and semantics of motion datasets, independently of the morphology and skeletal structure of characters. Unlike existing methods using an overly sparse high-dimensional latent, we propose a phase manifold consisting of multiple closed curves, each corresponding to a latent amplitude. With our proposed vector quantized periodic autoencoder, we learn a shared phase manifold for multiple characters, such as a human and a dog, without any supervision. This is achieved by exploiting the discrete structure and a shallow network as bottlenecks, such that semantically similar motions are clustered into the same curve of the manifold, and the motions within the same component are aligned temporally by the phase variable. In combination with an improved motion matching framework, we demonstrate the manifold's capability of timing and semantics alignment in several applications, including motion retrieval, transfer and stylization. Code and pre-trained models for this paper are available at https://peizhuoli.github.io/walkthedog.