Jacobiennes Résiduelles Temporelles pour le Transfert de Mouvement Sans Armature

Temporal Residual Jacobians For Rig-free Motion Transfer

July 20, 2024

Auteurs: Sanjeev Muralikrishnan, Niladri Shekhar Dutt, Siddhartha Chaudhuri, Noam Aigerman, Vladimir Kim, Matthew Fisher, Niloy J. Mitra

cs.AI

Résumé

Nous introduisons les Jacobiens Résiduels Temporels comme une nouvelle représentation permettant le transfert de mouvements piloté par les données. Notre approche ne suppose pas l'accès à aucun rigging ou images clés intermédiaires, produit des mouvements géométriquement et temporellement cohérents, et peut être utilisée pour transférer de longues séquences de mouvement. Au cœur de notre approche se trouvent deux réseaux neuronaux couplés qui prédisent individuellement des changements géométriques et temporels locaux, ensuite intégrés spatialement et temporellement pour produire les maillages animés finaux. Les deux réseaux sont entraînés conjointement, se complètent dans la production de signaux spatiaux et temporels, et sont supervisés directement avec des informations de position 3D. Pendant l'inférence, en l'absence d'images clés, notre méthode résout essentiellement un problème d'extrapolation de mouvement. Nous testons notre configuration sur divers maillages (formes synthétiques et scannées) pour démontrer sa supériorité dans la génération d'animations réalistes et naturelles sur des formes corporelles inédites par rapport aux alternatives de l'état de l'art. Une vidéo supplémentaire et le code sont disponibles à l'adresse https://temporaljacobians.github.io/.

English

We introduce Temporal Residual Jacobians as a novel representation to enable data-driven motion transfer. Our approach does not assume access to any rigging or intermediate shape keyframes, produces geometrically and temporally consistent motions, and can be used to transfer long motion sequences. Central to our approach are two coupled neural networks that individually predict local geometric and temporal changes that are subsequently integrated, spatially and temporally, to produce the final animated meshes. The two networks are jointly trained, complement each other in producing spatial and temporal signals, and are supervised directly with 3D positional information. During inference, in the absence of keyframes, our method essentially solves a motion extrapolation problem. We test our setup on diverse meshes (synthetic and scanned shapes) to demonstrate its superiority in generating realistic and natural-looking animations on unseen body shapes against SoTA alternatives. Supplemental video and code are available at https://temporaljacobians.github.io/ .