WalkTheDog: 위상 매니폴드를 통한 교차 형태학적 동작 정렬

WalkTheDog: Cross-Morphology Motion Alignment via Phase Manifolds

July 11, 2024

저자: Peizhuo Li, Sebastian Starke, Yuting Ye, Olga Sorkine-Hornung

cs.AI

초록

우리는 캐릭터의 형태학적 구조와 골격 구조와 독립적으로 모션 데이터셋의 주기성 구조와 의미론을 이해하기 위한 새로운 접근 방식을 제시합니다. 기존의 방법들이 지나치게 희소한 고차원 잠재 공간을 사용하는 것과 달리, 우리는 각각이 잠재 진폭에 대응하는 여러 닫힌 곡선으로 구성된 위상 매니폴드를 제안합니다. 우리가 제안한 벡터 양자화 주기적 오토인코더를 통해, 인간과 개와 같은 여러 캐릭터에 대한 공유 위상 매니폴드를 어떠한 감독 없이 학습합니다. 이는 이산 구조와 얕은 네트워크를 병목 구조로 활용함으로써 달성되며, 의미론적으로 유사한 모션들은 매니폴드의 동일한 곡선으로 클러스터링되고, 동일한 구성 요소 내의 모션들은 위상 변수에 의해 시간적으로 정렬됩니다. 개선된 모션 매칭 프레임워크와 결합하여, 우리는 모션 검색, 전이 및 스타일화를 포함한 여러 응용 프로그램에서 이 매니폴드의 타이밍 및 의미론 정렬 능력을 입증합니다. 본 논문의 코드와 사전 학습된 모델은 https://peizhuoli.github.io/walkthedog에서 확인할 수 있습니다.

English

We present a new approach for understanding the periodicity structure and semantics of motion datasets, independently of the morphology and skeletal structure of characters. Unlike existing methods using an overly sparse high-dimensional latent, we propose a phase manifold consisting of multiple closed curves, each corresponding to a latent amplitude. With our proposed vector quantized periodic autoencoder, we learn a shared phase manifold for multiple characters, such as a human and a dog, without any supervision. This is achieved by exploiting the discrete structure and a shallow network as bottlenecks, such that semantically similar motions are clustered into the same curve of the manifold, and the motions within the same component are aligned temporally by the phase variable. In combination with an improved motion matching framework, we demonstrate the manifold's capability of timing and semantics alignment in several applications, including motion retrieval, transfer and stylization. Code and pre-trained models for this paper are available at https://peizhuoli.github.io/walkthedog.