ビデオ拡散モデルからの関節運動学の蒸留

Articulated Kinematics Distillation from Video Diffusion Models

April 1, 2025

著者: Xuan Li, Qianli Ma, Tsung-Yi Lin, Yongxin Chen, Chenfanfu Jiang, Ming-Yu Liu, Donglai Xiang

cs.AI

要旨

本論文では、スケルトンベースのアニメーションと現代的な生成モデルの強みを融合させ、高精細なキャラクターアニメーションを生成するためのフレームワークであるArticulated Kinematics Distillation (AKD)を提案します。AKDは、リグ付き3Dアセットに対してスケルトンベースの表現を用いることで、関節レベルの制御に焦点を当て、自由度（DoFs）を大幅に削減します。これにより、効率的で一貫性のあるモーション合成が可能となります。事前学習済みのビデオ拡散モデルを用いたScore Distillation Sampling (SDS)を通じて、AKDは複雑な関節運動を蒸留しつつ、構造的整合性を維持します。これにより、4Dニューラル変形場が直面する形状一貫性の課題を克服します。このアプローチは物理ベースのシミュレーションと自然に互換性があり、物理的に妥当な相互作用を保証します。実験結果から、AKDは既存のテキストから4D生成に関する研究と比較して、優れた3D一貫性とモーション品質を達成することが示されています。プロジェクトページ: https://research.nvidia.com/labs/dir/akd/

English

We present Articulated Kinematics Distillation (AKD), a framework for generating high-fidelity character animations by merging the strengths of skeleton-based animation and modern generative models. AKD uses a skeleton-based representation for rigged 3D assets, drastically reducing the Degrees of Freedom (DoFs) by focusing on joint-level control, which allows for efficient, consistent motion synthesis. Through Score Distillation Sampling (SDS) with pre-trained video diffusion models, AKD distills complex, articulated motions while maintaining structural integrity, overcoming challenges faced by 4D neural deformation fields in preserving shape consistency. This approach is naturally compatible with physics-based simulation, ensuring physically plausible interactions. Experiments show that AKD achieves superior 3D consistency and motion quality compared with existing works on text-to-4D generation. Project page: https://research.nvidia.com/labs/dir/akd/