비디오 확산 모델에서의 관절 운동학적 지식 추출

Articulated Kinematics Distillation from Video Diffusion Models

April 1, 2025

저자: Xuan Li, Qianli Ma, Tsung-Yi Lin, Yongxin Chen, Chenfanfu Jiang, Ming-Yu Liu, Donglai Xiang

cs.AI

초록

우리는 스켈레톤 기반 애니메이션과 현대 생성 모델의 강점을 결합하여 고품질 캐릭터 애니메이션을 생성하기 위한 Articulated Kinematics Distillation (AKD) 프레임워크를 제안합니다. AKD는 리깅된 3D 자산에 대해 스켈레톤 기반 표현을 사용하여 관절 수준 제어에 초점을 맞춤으로써 자유도(DoFs)를 크게 줄이고, 이를 통해 효율적이고 일관된 모션 합성을 가능하게 합니다. 사전 학습된 비디오 확산 모델을 활용한 Score Distillation Sampling (SDS)을 통해, AKD는 구조적 무결성을 유지하면서 복잡한 관절 모션을 추출하며, 4D 신경 변형 필드가 직면한 형태 일관성 유지 문제를 극복합니다. 이 접근 방식은 물리 기반 시뮬레이션과 자연스럽게 호환되어 물리적으로 타당한 상호작용을 보장합니다. 실험 결과, AKD는 텍스트-투-4D 생성 분야의 기존 연구들에 비해 우수한 3D 일관성과 모션 품질을 달성함을 보여줍니다. 프로젝트 페이지: https://research.nvidia.com/labs/dir/akd/

English

We present Articulated Kinematics Distillation (AKD), a framework for generating high-fidelity character animations by merging the strengths of skeleton-based animation and modern generative models. AKD uses a skeleton-based representation for rigged 3D assets, drastically reducing the Degrees of Freedom (DoFs) by focusing on joint-level control, which allows for efficient, consistent motion synthesis. Through Score Distillation Sampling (SDS) with pre-trained video diffusion models, AKD distills complex, articulated motions while maintaining structural integrity, overcoming challenges faced by 4D neural deformation fields in preserving shape consistency. This approach is naturally compatible with physics-based simulation, ensuring physically plausible interactions. Experiments show that AKD achieves superior 3D consistency and motion quality compared with existing works on text-to-4D generation. Project page: https://research.nvidia.com/labs/dir/akd/