Временные остаточные якобианы для передачи движения без жесткой привязки.

Temporal Residual Jacobians For Rig-free Motion Transfer

July 20, 2024

Авторы: Sanjeev Muralikrishnan, Niladri Shekhar Dutt, Siddhartha Chaudhuri, Noam Aigerman, Vladimir Kim, Matthew Fisher, Niloy J. Mitra

cs.AI

Аннотация

Мы представляем Темпоральные остаточные якобианы в качестве нового представления для обеспечения передачи движения на основе данных. Наш подход не предполагает доступ к каким-либо системам жесткости или промежуточным ключевым кадрам формы, производит геометрически и временно согласованные движения и может использоваться для передачи длинных последовательностей движения. Центральными элементами нашего подхода являются две сцепленные нейронные сети, которые индивидуально предсказывают локальные геометрические и временные изменения, которые впоследствии интегрируются пространственно и временно для создания конечных анимированных сеток. Обе сети обучаются совместно, дополняют друг друга в производстве пространственных и временных сигналов и прямо надзираются с трехмерной позиционной информацией. Во время вывода, в отсутствие ключевых кадров, наш метод в основном решает проблему экстраполяции движения. Мы тестируем нашу настройку на разнообразных сетках (синтетических и отсканированных формах), чтобы продемонстрировать ее превосходство в создании реалистичных и естественно выглядящих анимаций на невидимых формах тела по сравнению с альтернативами SoTA. Дополнительное видео и код доступны на https://temporaljacobians.github.io/.

English

We introduce Temporal Residual Jacobians as a novel representation to enable data-driven motion transfer. Our approach does not assume access to any rigging or intermediate shape keyframes, produces geometrically and temporally consistent motions, and can be used to transfer long motion sequences. Central to our approach are two coupled neural networks that individually predict local geometric and temporal changes that are subsequently integrated, spatially and temporally, to produce the final animated meshes. The two networks are jointly trained, complement each other in producing spatial and temporal signals, and are supervised directly with 3D positional information. During inference, in the absence of keyframes, our method essentially solves a motion extrapolation problem. We test our setup on diverse meshes (synthetic and scanned shapes) to demonstrate its superiority in generating realistic and natural-looking animations on unseen body shapes against SoTA alternatives. Supplemental video and code are available at https://temporaljacobians.github.io/ .