Artikulierte Kinematik-Destillation aus Video-Diffusionsmodellen

Articulated Kinematics Distillation from Video Diffusion Models

April 1, 2025

Autoren: Xuan Li, Qianli Ma, Tsung-Yi Lin, Yongxin Chen, Chenfanfu Jiang, Ming-Yu Liu, Donglai Xiang

cs.AI

Zusammenfassung

Wir präsentieren Articulated Kinematics Distillation (AKD), ein Framework zur Erzeugung hochwertiger Charakteranimationen, das die Stärken skelettbasierter Animation und moderner generativer Modelle vereint. AKD verwendet eine skelettbasierte Darstellung für rigged 3D-Assets, wodurch die Freiheitsgrade (Degrees of Freedom, DoFs) drastisch reduziert werden, indem der Fokus auf die Gelenksteuerung gelegt wird. Dies ermöglicht eine effiziente und konsistente Bewegungssynthese. Durch Score Distillation Sampling (SDS) mit vortrainierten Video-Diffusionsmodellen destilliert AKD komplexe, artikulierte Bewegungen, während die strukturelle Integrität erhalten bleibt. Dadurch werden Herausforderungen überwunden, die 4D-neuronale Deformationsfelder bei der Wahrung der Formkonsistenz bewältigen müssen. Dieser Ansatz ist natürlich kompatibel mit physikbasierten Simulationen, wodurch physikalisch plausible Interaktionen sichergestellt werden. Experimente zeigen, dass AKD im Vergleich zu bestehenden Arbeiten zur Text-zu-4D-Generierung eine überlegene 3D-Konsistenz und Bewegungsqualität erreicht. Projektseite: https://research.nvidia.com/labs/dir/akd/

English

We present Articulated Kinematics Distillation (AKD), a framework for generating high-fidelity character animations by merging the strengths of skeleton-based animation and modern generative models. AKD uses a skeleton-based representation for rigged 3D assets, drastically reducing the Degrees of Freedom (DoFs) by focusing on joint-level control, which allows for efficient, consistent motion synthesis. Through Score Distillation Sampling (SDS) with pre-trained video diffusion models, AKD distills complex, articulated motions while maintaining structural integrity, overcoming challenges faced by 4D neural deformation fields in preserving shape consistency. This approach is naturally compatible with physics-based simulation, ensuring physically plausible interactions. Experiments show that AKD achieves superior 3D consistency and motion quality compared with existing works on text-to-4D generation. Project page: https://research.nvidia.com/labs/dir/akd/