剛体フリーなモーション転送のための時間的残差ヤコビアン

Temporal Residual Jacobians For Rig-free Motion Transfer

July 20, 2024

著者: Sanjeev Muralikrishnan, Niladri Shekhar Dutt, Siddhartha Chaudhuri, Noam Aigerman, Vladimir Kim, Matthew Fisher, Niloy J. Mitra

cs.AI

要旨

我々は、データ駆動型モーション転送を可能にする新たな表現としてTemporal Residual Jacobiansを提案する。本手法は、リギングや中間形状キーフレームへのアクセスを前提とせず、幾何学的および時間的に一貫したモーションを生成し、長いモーションシーケンスの転送に使用できる。本手法の中核となるのは、局所的な幾何学的変化と時間的変化を個別に予測し、その後空間的・時間的に統合して最終的なアニメーションメッシュを生成する2つの結合ニューラルネットワークである。これら2つのネットワークは共同で訓練され、空間的および時間的信号の生成において互いに補完し、3D位置情報で直接監視される。推論時には、キーフレームが存在しない状況下で、本手法は本質的にモーション外挿問題を解決する。我々は、多様なメッシュ（合成形状とスキャン形状）に対して本手法をテストし、未見の身体形状において現実的で自然なアニメーションを生成する点でSoTA代替手法に対する優位性を実証する。補足ビデオとコードはhttps://temporaljacobians.github.io/で公開されている。

English

We introduce Temporal Residual Jacobians as a novel representation to enable data-driven motion transfer. Our approach does not assume access to any rigging or intermediate shape keyframes, produces geometrically and temporally consistent motions, and can be used to transfer long motion sequences. Central to our approach are two coupled neural networks that individually predict local geometric and temporal changes that are subsequently integrated, spatially and temporally, to produce the final animated meshes. The two networks are jointly trained, complement each other in producing spatial and temporal signals, and are supervised directly with 3D positional information. During inference, in the absence of keyframes, our method essentially solves a motion extrapolation problem. We test our setup on diverse meshes (synthetic and scanned shapes) to demonstrate its superiority in generating realistic and natural-looking animations on unseen body shapes against SoTA alternatives. Supplemental video and code are available at https://temporaljacobians.github.io/ .