리그 없는 모션 전이를 위한 시간적 잔차 야코비안

Temporal Residual Jacobians For Rig-free Motion Transfer

July 20, 2024

저자: Sanjeev Muralikrishnan, Niladri Shekhar Dutt, Siddhartha Chaudhuri, Noam Aigerman, Vladimir Kim, Matthew Fisher, Niloy J. Mitra

cs.AI

초록

우리는 데이터 기반 모션 전달을 가능하게 하는 새로운 표현 방식으로 시간적 잔차 야코비안(Temporal Residual Jacobians)을 소개한다. 우리의 접근 방식은 리깅(rigging)이나 중간 형태 키프레임에 대한 접근을 가정하지 않으면서도, 기하학적 및 시간적으로 일관된 모션을 생성하며, 긴 모션 시퀀스 전달에도 사용할 수 있다. 우리 접근 방식의 핵심은 각각 지역적 기하학적 변화와 시간적 변화를 예측하는 두 개의 결합된 신경망으로, 이들은 공간적 및 시간적으로 통합되어 최종 애니메이션 메시를 생성한다. 두 네트워크는 공동으로 훈련되며, 공간적 및 시간적 신호를 생성하는 데 서로 보완적 역할을 하며, 3D 위치 정보로 직접 지도 학습된다. 추론 과정에서 키프레임이 없는 경우, 우리의 방법은 본질적으로 모션 외삽 문제를 해결한다. 우리는 다양한 메시(합성 및 스캔된 형태)에 대해 실험을 진행하여, 보지 못한 신체 형태에 대해 현실적이고 자연스러운 애니메이션을 생성하는 데 있어 최신 기술(SoTA) 대안들에 비해 우수성을 입증한다. 보충 비디오와 코드는 https://temporaljacobians.github.io/에서 확인할 수 있다.

English

We introduce Temporal Residual Jacobians as a novel representation to enable data-driven motion transfer. Our approach does not assume access to any rigging or intermediate shape keyframes, produces geometrically and temporally consistent motions, and can be used to transfer long motion sequences. Central to our approach are two coupled neural networks that individually predict local geometric and temporal changes that are subsequently integrated, spatially and temporally, to produce the final animated meshes. The two networks are jointly trained, complement each other in producing spatial and temporal signals, and are supervised directly with 3D positional information. During inference, in the absence of keyframes, our method essentially solves a motion extrapolation problem. We test our setup on diverse meshes (synthetic and scanned shapes) to demonstrate its superiority in generating realistic and natural-looking animations on unseen body shapes against SoTA alternatives. Supplemental video and code are available at https://temporaljacobians.github.io/ .