Zeitliche Rest-Jakobianen für rig-freien Bewegungstransfer

Temporal Residual Jacobians For Rig-free Motion Transfer

July 20, 2024

Autoren: Sanjeev Muralikrishnan, Niladri Shekhar Dutt, Siddhartha Chaudhuri, Noam Aigerman, Vladimir Kim, Matthew Fisher, Niloy J. Mitra

cs.AI

Zusammenfassung

Wir stellen Temporale Residuale Jacobians als eine neuartige Darstellung vor, um datengesteuerte Bewegungsübertragung zu ermöglichen. Unser Ansatz setzt keine Verwendung von Rigging oder Zwischenform-Keyframes voraus, erzeugt geometrisch und zeitlich konsistente Bewegungen und kann verwendet werden, um lange Bewegungssequenzen zu übertragen. Zentral für unseren Ansatz sind zwei gekoppelte neuronale Netzwerke, die lokal geometrische und zeitliche Veränderungen vorhersagen, die anschließend räumlich und zeitlich integriert werden, um die endgültigen animierten Meshes zu erzeugen. Die beiden Netzwerke werden gemeinsam trainiert, ergänzen sich bei der Erzeugung von räumlichen und zeitlichen Signalen und werden direkt mit 3D-Positionsdaten überwacht. Während der Inferenz löst unsere Methode im Fehlen von Keyframes im Wesentlichen ein Bewegungsextrapolationsproblem. Wir testen unser Setup an verschiedenen Meshes (synthetische und gescannte Formen), um seine Überlegenheit bei der Erzeugung realistischer und natürlicher Animationen auf unbekannten Körperformen im Vergleich zu den besten Alternativen zu demonstrieren. Zusätzliches Video und Code sind verfügbar unter https://temporaljacobians.github.io/.

English

We introduce Temporal Residual Jacobians as a novel representation to enable data-driven motion transfer. Our approach does not assume access to any rigging or intermediate shape keyframes, produces geometrically and temporally consistent motions, and can be used to transfer long motion sequences. Central to our approach are two coupled neural networks that individually predict local geometric and temporal changes that are subsequently integrated, spatially and temporally, to produce the final animated meshes. The two networks are jointly trained, complement each other in producing spatial and temporal signals, and are supervised directly with 3D positional information. During inference, in the absence of keyframes, our method essentially solves a motion extrapolation problem. We test our setup on diverse meshes (synthetic and scanned shapes) to demonstrate its superiority in generating realistic and natural-looking animations on unseen body shapes against SoTA alternatives. Supplemental video and code are available at https://temporaljacobians.github.io/ .