Distillation de la cinématique articulée à partir de modèles de diffusion vidéo

Articulated Kinematics Distillation from Video Diffusion Models

April 1, 2025

Auteurs: Xuan Li, Qianli Ma, Tsung-Yi Lin, Yongxin Chen, Chenfanfu Jiang, Ming-Yu Liu, Donglai Xiang

cs.AI

Résumé

Nous présentons Articulated Kinematics Distillation (AKD), un cadre pour générer des animations de personnages haute fidélité en combinant les forces de l'animation basée sur un squelette et des modèles génératifs modernes. AKD utilise une représentation basée sur un squelette pour les assets 3D riggés, réduisant considérablement les degrés de liberté (DoFs) en se concentrant sur le contrôle au niveau des articulations, ce qui permet une synthèse de mouvement efficace et cohérente. Grâce à l'échantillonnage par distillation de score (SDS) avec des modèles de diffusion vidéo pré-entraînés, AKD distille des mouvements complexes et articulés tout en préservant l'intégrité structurelle, surmontant les défis rencontrés par les champs de déformation neuronaux 4D pour maintenir la cohérence des formes. Cette approche est naturellement compatible avec la simulation basée sur la physique, garantissant des interactions physiquement plausibles. Les expériences montrent qu'AKD atteint une cohérence 3D et une qualité de mouvement supérieures par rapport aux travaux existants sur la génération de texte à 4D. Page du projet : https://research.nvidia.com/labs/dir/akd/

English

We present Articulated Kinematics Distillation (AKD), a framework for generating high-fidelity character animations by merging the strengths of skeleton-based animation and modern generative models. AKD uses a skeleton-based representation for rigged 3D assets, drastically reducing the Degrees of Freedom (DoFs) by focusing on joint-level control, which allows for efficient, consistent motion synthesis. Through Score Distillation Sampling (SDS) with pre-trained video diffusion models, AKD distills complex, articulated motions while maintaining structural integrity, overcoming challenges faced by 4D neural deformation fields in preserving shape consistency. This approach is naturally compatible with physics-based simulation, ensuring physically plausible interactions. Experiments show that AKD achieves superior 3D consistency and motion quality compared with existing works on text-to-4D generation. Project page: https://research.nvidia.com/labs/dir/akd/