Puppeteer: Rig e Anima Seus Modelos 3D

Puppeteer: Rig and Animate Your 3D Models

August 14, 2025

Autores: Chaoyue Song, Xiu Li, Fan Yang, Zhongcong Xu, Jiacheng Wei, Fayao Liu, Jiashi Feng, Guosheng Lin, Jianfeng Zhang

cs.AI

Resumo

Aplicações interativas modernas demandam cada vez mais conteúdo 3D dinâmico, mas a transformação de modelos 3D estáticos em ativos animados constitui um gargalo significativo nos pipelines de criação de conteúdo. Embora avanços recentes em IA generativa tenham revolucionado a criação de modelos 3D estáticos, a rigging e a animação continuam a depender fortemente da intervenção de especialistas. Apresentamos o Puppeteer, um framework abrangente que aborda tanto a rigging automática quanto a animação para diversos objetos 3D. Nosso sistema primeiro prevê estruturas esqueléticas plausíveis por meio de um transformer auto-regressivo que introduz uma estratégia de tokenização baseada em juntas para representação compacta e uma metodologia de ordenação hierárquica com perturbação estocástica que aprimora as capacidades de aprendizado bidirecional. Em seguida, o sistema infere pesos de skinning por meio de uma arquitetura baseada em atenção que incorpora atenção conjunta consciente da topologia, codificando explicitamente as relações inter-juntas com base em distâncias do grafo esquelético. Por fim, complementamos esses avanços em rigging com um pipeline de animação baseado em otimização diferenciável que gera animações estáveis e de alta fidelidade, sendo computacionalmente mais eficiente do que as abordagens existentes. Avaliações extensas em múltiplos benchmarks demonstram que nosso método supera significativamente as técnicas state-of-the-art tanto em precisão de previsão esquelética quanto em qualidade de skinning. O sistema processa de forma robusta diversos conteúdos 3D, desde ativos de jogos projetados profissionalmente até formas geradas por IA, produzindo animações temporalmente coerentes que eliminam os problemas de tremulação comuns nos métodos existentes.

English

Modern interactive applications increasingly demand dynamic 3D content, yet the transformation of static 3D models into animated assets constitutes a significant bottleneck in content creation pipelines. While recent advances in generative AI have revolutionized static 3D model creation, rigging and animation continue to depend heavily on expert intervention. We present Puppeteer, a comprehensive framework that addresses both automatic rigging and animation for diverse 3D objects. Our system first predicts plausible skeletal structures via an auto-regressive transformer that introduces a joint-based tokenization strategy for compact representation and a hierarchical ordering methodology with stochastic perturbation that enhances bidirectional learning capabilities. It then infers skinning weights via an attention-based architecture incorporating topology-aware joint attention that explicitly encodes inter-joint relationships based on skeletal graph distances. Finally, we complement these rigging advances with a differentiable optimization-based animation pipeline that generates stable, high-fidelity animations while being computationally more efficient than existing approaches. Extensive evaluations across multiple benchmarks demonstrate that our method significantly outperforms state-of-the-art techniques in both skeletal prediction accuracy and skinning quality. The system robustly processes diverse 3D content, ranging from professionally designed game assets to AI-generated shapes, producing temporally coherent animations that eliminate the jittering issues common in existing methods.