WalkTheDog: Kreuz-Morphologie-Bewegungsausrichtung über Phasen-Mannigfaltigkeiten

WalkTheDog: Cross-Morphology Motion Alignment via Phase Manifolds

July 11, 2024

Autoren: Peizhuo Li, Sebastian Starke, Yuting Ye, Olga Sorkine-Hornung

cs.AI

Zusammenfassung

Wir präsentieren einen neuen Ansatz zur Analyse der Periodizitätsstruktur und Semantik von Bewegungsdatensätzen, unabhängig von der Morphologie und dem Skelettbau der Figuren. Im Gegensatz zu bestehenden Methoden, die eine übermäßig spärliche hochdimensionale Latenz verwenden, schlagen wir eine Phasen-Mannigfaltigkeit vor, die aus mehreren geschlossenen Kurven besteht, von denen jede einer latenten Amplitude entspricht. Mit unserem vorgeschlagenen vektor-quantisierten periodischen Autoencoder lernen wir eine gemeinsame Phasen-Mannigfaltigkeit für mehrere Figuren, wie einen Menschen und einen Hund, ohne jegliche Überwachung. Dies wird durch die Ausnutzung der diskreten Struktur und eines flachen Netzwerks als Engpässe erreicht, so dass semantisch ähnliche Bewegungen in dieselbe Kurve der Mannigfaltigkeit gruppiert werden und die Bewegungen innerhalb desselben Komponenten durch die Phasenvariable zeitlich ausgerichtet sind. In Kombination mit einem verbesserten Bewegungsabgleichsrahmen zeigen wir die Fähigkeit der Mannigfaltigkeit zur zeitlichen und semantischen Ausrichtung in mehreren Anwendungen, einschließlich Bewegungsrückgewinnung, -übertragung und -stilisierung. Der Code und die vorab trainierten Modelle für diese Arbeit sind unter https://peizhuoli.github.io/walkthedog verfügbar.

English

We present a new approach for understanding the periodicity structure and semantics of motion datasets, independently of the morphology and skeletal structure of characters. Unlike existing methods using an overly sparse high-dimensional latent, we propose a phase manifold consisting of multiple closed curves, each corresponding to a latent amplitude. With our proposed vector quantized periodic autoencoder, we learn a shared phase manifold for multiple characters, such as a human and a dog, without any supervision. This is achieved by exploiting the discrete structure and a shallow network as bottlenecks, such that semantically similar motions are clustered into the same curve of the manifold, and the motions within the same component are aligned temporally by the phase variable. In combination with an improved motion matching framework, we demonstrate the manifold's capability of timing and semantics alignment in several applications, including motion retrieval, transfer and stylization. Code and pre-trained models for this paper are available at https://peizhuoli.github.io/walkthedog.