WalkTheDog: Выравнивание движения с перекрестной морфологией через фазовые многообразия

WalkTheDog: Cross-Morphology Motion Alignment via Phase Manifolds

July 11, 2024

Авторы: Peizhuo Li, Sebastian Starke, Yuting Ye, Olga Sorkine-Hornung

cs.AI

Аннотация

Мы представляем новый подход к пониманию структуры периодичности и семантики наборов данных о движениях, независимо от морфологии и скелетной структуры персонажей. В отличие от существующих методов, использующих избыточно разреженное высокоразмерное скрытое пространство, мы предлагаем фазовое многообразие, состоящее из нескольких замкнутых кривых, каждая из которых соответствует скрытой амплитуде. С помощью предложенного нами векторизованного периодического автоэнкодера мы обучаем общее фазовое многообразие для нескольких персонажей, таких как человек и собака, без какого-либо надзора. Это достигается за счет использования дискретной структуры и неглубокой сети в качестве узких мест, таким образом, что семантически похожие движения объединяются в одну и ту же кривую многообразия, а движения в пределах одного компонента выравниваются временно с помощью фазовой переменной. В сочетании с улучшенной рамкой сопоставления движений мы демонстрируем способность многообразия к выравниванию времени и семантики в нескольких приложениях, включая поиск движения, передачу и стилизацию. Код и предварительно обученные модели для этой статьи доступны по адресу https://peizhuoli.github.io/walkthedog.

English

We present a new approach for understanding the periodicity structure and semantics of motion datasets, independently of the morphology and skeletal structure of characters. Unlike existing methods using an overly sparse high-dimensional latent, we propose a phase manifold consisting of multiple closed curves, each corresponding to a latent amplitude. With our proposed vector quantized periodic autoencoder, we learn a shared phase manifold for multiple characters, such as a human and a dog, without any supervision. This is achieved by exploiting the discrete structure and a shallow network as bottlenecks, such that semantically similar motions are clustered into the same curve of the manifold, and the motions within the same component are aligned temporally by the phase variable. In combination with an improved motion matching framework, we demonstrate the manifold's capability of timing and semantics alignment in several applications, including motion retrieval, transfer and stylization. Code and pre-trained models for this paper are available at https://peizhuoli.github.io/walkthedog.