Tijdelijke Residuele Jacobianen voor Rig-vrije Bewegingsoverdracht

Temporal Residual Jacobians For Rig-free Motion Transfer

July 20, 2024

Auteurs: Sanjeev Muralikrishnan, Niladri Shekhar Dutt, Siddhartha Chaudhuri, Noam Aigerman, Vladimir Kim, Matthew Fisher, Niloy J. Mitra

cs.AI

Samenvatting

We introduceren Temporale Residuele Jacobianen als een nieuwe representatie om data-gedreven motieoverdracht mogelijk te maken. Onze aanname gaat niet uit van toegang tot rigging of tussenliggende vorm-keyframes, produceert geometrisch en temporeel consistente bewegingen, en kan worden gebruikt om lange bewegingssequenties over te dragen. Centraal in onze aanpak staan twee gekoppelde neurale netwerken die individueel lokale geometrische en temporele veranderingen voorspellen, die vervolgens ruimtelijk en temporeel worden geïntegreerd om de uiteindelijke geanimeerde meshes te produceren. De twee netwerken worden gezamenlijk getraind, vullen elkaar aan bij het produceren van ruimtelijke en temporele signalen, en worden direct begeleid met 3D-positionele informatie. Tijdens inferentie lost onze methode, in afwezigheid van keyframes, in wezen een motie-extrapolatieprobleem op. We testen onze opzet op diverse meshes (synthetische en gescande vormen) om de superioriteit aan te tonen in het genereren van realistische en natuurlijk ogende animaties op onbekende lichaamsvormen tegenover state-of-the-art alternatieven. Aanvullende video en code zijn beschikbaar op https://temporaljacobians.github.io/.

English

We introduce Temporal Residual Jacobians as a novel representation to enable data-driven motion transfer. Our approach does not assume access to any rigging or intermediate shape keyframes, produces geometrically and temporally consistent motions, and can be used to transfer long motion sequences. Central to our approach are two coupled neural networks that individually predict local geometric and temporal changes that are subsequently integrated, spatially and temporally, to produce the final animated meshes. The two networks are jointly trained, complement each other in producing spatial and temporal signals, and are supervised directly with 3D positional information. During inference, in the absence of keyframes, our method essentially solves a motion extrapolation problem. We test our setup on diverse meshes (synthetic and scanned shapes) to demonstrate its superiority in generating realistic and natural-looking animations on unseen body shapes against SoTA alternatives. Supplemental video and code are available at https://temporaljacobians.github.io/ .