Дистилляция артикулированной кинематики из видеодиффузионных моделей

Articulated Kinematics Distillation from Video Diffusion Models

April 1, 2025

Авторы: Xuan Li, Qianli Ma, Tsung-Yi Lin, Yongxin Chen, Chenfanfu Jiang, Ming-Yu Liu, Donglai Xiang

cs.AI

Аннотация

Мы представляем Articulated Kinematics Distillation (AKD) — фреймворк для создания высококачественных анимаций персонажей, объединяющий преимущества скелетной анимации и современных генеративных моделей. AKD использует скелетное представление для ригнутых 3D-ассетов, значительно сокращая количество степеней свободы (DoFs) за счёт фокуса на управлении на уровне суставов, что обеспечивает эффективный и согласованный синтез движений. Благодаря Score Distillation Sampling (SDS) с использованием предобученных видео-диффузионных моделей, AKD извлекает сложные, сочленённые движения, сохраняя структурную целостность и преодолевая проблемы, с которыми сталкиваются 4D-нейронные поля деформации в поддержании согласованности формы. Этот подход естественным образом совместим с физически-обоснованной симуляцией, обеспечивая правдоподобные физические взаимодействия. Эксперименты показывают, что AKD достигает превосходной 3D-согласованности и качества движений по сравнению с существующими работами в области генерации текста в 4D. Страница проекта: https://research.nvidia.com/labs/dir/akd/

English

We present Articulated Kinematics Distillation (AKD), a framework for generating high-fidelity character animations by merging the strengths of skeleton-based animation and modern generative models. AKD uses a skeleton-based representation for rigged 3D assets, drastically reducing the Degrees of Freedom (DoFs) by focusing on joint-level control, which allows for efficient, consistent motion synthesis. Through Score Distillation Sampling (SDS) with pre-trained video diffusion models, AKD distills complex, articulated motions while maintaining structural integrity, overcoming challenges faced by 4D neural deformation fields in preserving shape consistency. This approach is naturally compatible with physics-based simulation, ensuring physically plausible interactions. Experiments show that AKD achieves superior 3D consistency and motion quality compared with existing works on text-to-4D generation. Project page: https://research.nvidia.com/labs/dir/akd/