Jacobians Residuais Temporais para Transferência de Movimento Livre de Rigidez

Temporal Residual Jacobians For Rig-free Motion Transfer

July 20, 2024

Autores: Sanjeev Muralikrishnan, Niladri Shekhar Dutt, Siddhartha Chaudhuri, Noam Aigerman, Vladimir Kim, Matthew Fisher, Niloy J. Mitra

cs.AI

Resumo

Apresentamos os Jacobianos Residuais Temporais como uma representação inovadora para permitir a transferência de movimento baseada em dados. Nossa abordagem não pressupõe acesso a rigging ou keyframes de forma intermediária, produz movimentos geometricamente e temporalmente consistentes, e pode ser usada para transferir sequências de movimento longas. Central à nossa abordagem estão duas redes neurais acopladas que preveem individualmente mudanças geométricas e temporais locais que são posteriormente integradas, espacial e temporalmente, para produzir as malhas animadas finais. As duas redes são treinadas em conjunto, se complementam na produção de sinais espaciais e temporais, e são supervisionadas diretamente com informações de posição 3D. Durante a inferência, na ausência de keyframes, nosso método essencialmente resolve um problema de extrapolação de movimento. Testamos nossa configuração em malhas diversas (formas sintéticas e digitalizadas) para demonstrar sua superioridade na geração de animações realistas e naturais em formas corporais não vistas em comparação com alternativas de estado da arte. Vídeo complementar e código estão disponíveis em https://temporaljacobians.github.io/.

English

We introduce Temporal Residual Jacobians as a novel representation to enable data-driven motion transfer. Our approach does not assume access to any rigging or intermediate shape keyframes, produces geometrically and temporally consistent motions, and can be used to transfer long motion sequences. Central to our approach are two coupled neural networks that individually predict local geometric and temporal changes that are subsequently integrated, spatially and temporally, to produce the final animated meshes. The two networks are jointly trained, complement each other in producing spatial and temporal signals, and are supervised directly with 3D positional information. During inference, in the absence of keyframes, our method essentially solves a motion extrapolation problem. We test our setup on diverse meshes (synthetic and scanned shapes) to demonstrate its superiority in generating realistic and natural-looking animations on unseen body shapes against SoTA alternatives. Supplemental video and code are available at https://temporaljacobians.github.io/ .