Jacobiani Temporali Residui per il Trasferimento di Movimento Senza Scheletro

Temporal Residual Jacobians For Rig-free Motion Transfer

July 20, 2024

Autori: Sanjeev Muralikrishnan, Niladri Shekhar Dutt, Siddhartha Chaudhuri, Noam Aigerman, Vladimir Kim, Matthew Fisher, Niloy J. Mitra

cs.AI

Abstract

Introduciamo i Jacobiani Residui Temporali come una nuova rappresentazione per abilitare il trasferimento di movimenti basato sui dati. Il nostro approccio non presuppone l'accesso a rigging o fotogrammi chiave intermedi, produce movimenti geometricamente e temporalmente coerenti e può essere utilizzato per trasferire sequenze di movimento lunghe. Al centro del nostro approccio ci sono due reti neurali accoppiate che prevedono individualmente cambiamenti geometrici e temporali locali, successivamente integrati, spazialmente e temporalmente, per produrre le mesh animate finali. Le due reti sono addestrate congiuntamente, si completano a vicenda nella produzione di segnali spaziali e temporali e sono supervisionate direttamente con informazioni posizionali 3D. Durante l'inferenza, in assenza di fotogrammi chiave, il nostro metodo risolve essenzialmente un problema di estrapolazione del movimento. Testiamo il nostro setup su mesh diverse (forme sintetiche e scansionate) per dimostrare la sua superiorità nella generazione di animazioni realistiche e naturali su forme corporee non viste rispetto alle alternative SoTA. Video supplementari e codice sono disponibili su https://temporaljacobians.github.io/.

English

We introduce Temporal Residual Jacobians as a novel representation to enable data-driven motion transfer. Our approach does not assume access to any rigging or intermediate shape keyframes, produces geometrically and temporally consistent motions, and can be used to transfer long motion sequences. Central to our approach are two coupled neural networks that individually predict local geometric and temporal changes that are subsequently integrated, spatially and temporally, to produce the final animated meshes. The two networks are jointly trained, complement each other in producing spatial and temporal signals, and are supervised directly with 3D positional information. During inference, in the absence of keyframes, our method essentially solves a motion extrapolation problem. We test our setup on diverse meshes (synthetic and scanned shapes) to demonstrate its superiority in generating realistic and natural-looking animations on unseen body shapes against SoTA alternatives. Supplemental video and code are available at https://temporaljacobians.github.io/ .