Gearticuleerde Kinematica Distillatie uit Video Diffusiemodellen

Articulated Kinematics Distillation from Video Diffusion Models

April 1, 2025

Auteurs: Xuan Li, Qianli Ma, Tsung-Yi Lin, Yongxin Chen, Chenfanfu Jiang, Ming-Yu Liu, Donglai Xiang

cs.AI

Samenvatting

We presenteren Articulated Kinematics Distillation (AKD), een raamwerk voor het genereren van hoogwaardige karakteranimaties door de sterke punten van skeletgebaseerde animatie en moderne generatieve modellen te combineren. AKD maakt gebruik van een skeletgebaseerde representatie voor gerigde 3D-assets, waardoor het aantal vrijheidsgraden (Degrees of Freedom, DoFs) aanzienlijk wordt verminderd door zich te richten op gewrichtsniveau-controle, wat efficiënte en consistente bewegingssynthese mogelijk maakt. Door Score Distillation Sampling (SDS) met vooraf getrainde videodiffusiemodellen, destilleert AKD complexe, gearticuleerde bewegingen terwijl de structurele integriteit behouden blijft, waardoor uitdagingen worden overwonnen die 4D neurale vervormingsvelden ondervinden bij het behouden van vormconsistentie. Deze aanpak is van nature compatibel met fysicagebaseerde simulatie, wat fysisch plausibele interacties garandeert. Experimenten tonen aan dat AKD superieure 3D-consistentie en bewegingskwaliteit bereikt in vergelijking met bestaande werken op het gebied van tekst-naar-4D-generatie. Projectpagina: https://research.nvidia.com/labs/dir/akd/

English

We present Articulated Kinematics Distillation (AKD), a framework for generating high-fidelity character animations by merging the strengths of skeleton-based animation and modern generative models. AKD uses a skeleton-based representation for rigged 3D assets, drastically reducing the Degrees of Freedom (DoFs) by focusing on joint-level control, which allows for efficient, consistent motion synthesis. Through Score Distillation Sampling (SDS) with pre-trained video diffusion models, AKD distills complex, articulated motions while maintaining structural integrity, overcoming challenges faced by 4D neural deformation fields in preserving shape consistency. This approach is naturally compatible with physics-based simulation, ensuring physically plausible interactions. Experiments show that AKD achieves superior 3D consistency and motion quality compared with existing works on text-to-4D generation. Project page: https://research.nvidia.com/labs/dir/akd/