Distilación de Cinemática Articulada a partir de Modelos de Difusión de Video

Articulated Kinematics Distillation from Video Diffusion Models

April 1, 2025

Autores: Xuan Li, Qianli Ma, Tsung-Yi Lin, Yongxin Chen, Chenfanfu Jiang, Ming-Yu Liu, Donglai Xiang

cs.AI

Resumen

Presentamos Articulated Kinematics Distillation (AKD), un marco para generar animaciones de personajes de alta fidelidad al combinar las fortalezas de la animación basada en esqueletos y los modelos generativos modernos. AKD utiliza una representación basada en esqueletos para activos 3D con rigging, reduciendo drásticamente los Grados de Libertad (DoFs) al enfocarse en el control a nivel de articulaciones, lo que permite una síntesis de movimiento eficiente y consistente. A través de Score Distillation Sampling (SDS) con modelos de difusión de video preentrenados, AKD destila movimientos complejos y articulados mientras mantiene la integridad estructural, superando los desafíos que enfrentan los campos de deformación neural 4D para preservar la consistencia de la forma. Este enfoque es naturalmente compatible con la simulación basada en física, garantizando interacciones físicamente plausibles. Los experimentos muestran que AKD logra una consistencia 3D y una calidad de movimiento superiores en comparación con trabajos existentes en la generación de texto a 4D. Página del proyecto: https://research.nvidia.com/labs/dir/akd/

English

We present Articulated Kinematics Distillation (AKD), a framework for generating high-fidelity character animations by merging the strengths of skeleton-based animation and modern generative models. AKD uses a skeleton-based representation for rigged 3D assets, drastically reducing the Degrees of Freedom (DoFs) by focusing on joint-level control, which allows for efficient, consistent motion synthesis. Through Score Distillation Sampling (SDS) with pre-trained video diffusion models, AKD distills complex, articulated motions while maintaining structural integrity, overcoming challenges faced by 4D neural deformation fields in preserving shape consistency. This approach is naturally compatible with physics-based simulation, ensuring physically plausible interactions. Experiments show that AKD achieves superior 3D consistency and motion quality compared with existing works on text-to-4D generation. Project page: https://research.nvidia.com/labs/dir/akd/