Distilação de Cinemática Articulada a partir de Modelos de Difusão de Vídeo

Articulated Kinematics Distillation from Video Diffusion Models

April 1, 2025

Autores: Xuan Li, Qianli Ma, Tsung-Yi Lin, Yongxin Chen, Chenfanfu Jiang, Ming-Yu Liu, Donglai Xiang

cs.AI

Resumo

Apresentamos o Articulated Kinematics Distillation (AKD), um framework para gerar animações de personagens de alta fidelidade ao combinar as vantagens da animação baseada em esqueleto e modelos generativos modernos. O AKD utiliza uma representação baseada em esqueleto para ativos 3D com rigging, reduzindo drasticamente os Graus de Liberdade (DoFs) ao focar no controle em nível de articulações, o que permite uma síntese de movimento eficiente e consistente. Por meio do Score Distillation Sampling (SDS) com modelos de difusão de vídeo pré-treinados, o AKD destila movimentos complexos e articulados enquanto mantém a integridade estrutural, superando os desafios enfrentados por campos de deformação neural 4D na preservação da consistência de forma. Essa abordagem é naturalmente compatível com simulações baseadas em física, garantindo interações fisicamente plausíveis. Experimentos mostram que o AKD alcança uma consistência 3D e qualidade de movimento superiores em comparação com trabalhos existentes na geração de texto para 4D. Página do projeto: https://research.nvidia.com/labs/dir/akd/

English

We present Articulated Kinematics Distillation (AKD), a framework for generating high-fidelity character animations by merging the strengths of skeleton-based animation and modern generative models. AKD uses a skeleton-based representation for rigged 3D assets, drastically reducing the Degrees of Freedom (DoFs) by focusing on joint-level control, which allows for efficient, consistent motion synthesis. Through Score Distillation Sampling (SDS) with pre-trained video diffusion models, AKD distills complex, articulated motions while maintaining structural integrity, overcoming challenges faced by 4D neural deformation fields in preserving shape consistency. This approach is naturally compatible with physics-based simulation, ensuring physically plausible interactions. Experiments show that AKD achieves superior 3D consistency and motion quality compared with existing works on text-to-4D generation. Project page: https://research.nvidia.com/labs/dir/akd/