Jacobianes Residuales Temporales para la Transferencia de Movimiento sin Rigidez

Temporal Residual Jacobians For Rig-free Motion Transfer

July 20, 2024

Autores: Sanjeev Muralikrishnan, Niladri Shekhar Dutt, Siddhartha Chaudhuri, Noam Aigerman, Vladimir Kim, Matthew Fisher, Niloy J. Mitra

cs.AI

Resumen

Introducimos los Jacobianos Residuales Temporales como una representación novedosa para habilitar la transferencia de movimiento basada en datos. Nuestro enfoque no asume acceso a ningún esqueleto o fotogramas clave de forma intermedia, produce movimientos geométrica y temporalmente consistentes, y puede ser utilizado para transferir secuencias de movimiento largas. Central en nuestro enfoque están dos redes neuronales acopladas que predicen individualmente cambios geométricos y temporales locales que posteriormente se integran, espacial y temporalmente, para producir las mallas animadas finales. Las dos redes son entrenadas conjuntamente, se complementan entre sí en la producción de señales espaciales y temporales, y son supervisadas directamente con información posicional en 3D. Durante la inferencia, en ausencia de fotogramas clave, nuestro método resuelve esencialmente un problema de extrapolación de movimiento. Probamos nuestra configuración en mallas diversas (formas sintéticas y escaneadas) para demostrar su superioridad en generar animaciones realistas y de aspecto natural en formas corporales no vistas en comparación con alternativas de estado del arte. Un video complementario y el código están disponibles en https://temporaljacobians.github.io/.

English

We introduce Temporal Residual Jacobians as a novel representation to enable data-driven motion transfer. Our approach does not assume access to any rigging or intermediate shape keyframes, produces geometrically and temporally consistent motions, and can be used to transfer long motion sequences. Central to our approach are two coupled neural networks that individually predict local geometric and temporal changes that are subsequently integrated, spatially and temporally, to produce the final animated meshes. The two networks are jointly trained, complement each other in producing spatial and temporal signals, and are supervised directly with 3D positional information. During inference, in the absence of keyframes, our method essentially solves a motion extrapolation problem. We test our setup on diverse meshes (synthetic and scanned shapes) to demonstrate its superiority in generating realistic and natural-looking animations on unseen body shapes against SoTA alternatives. Supplemental video and code are available at https://temporaljacobians.github.io/ .