Puppeteer: Riggear y animar tus modelos 3D

Puppeteer: Rig and Animate Your 3D Models

August 14, 2025

Autores: Chaoyue Song, Xiu Li, Fan Yang, Zhongcong Xu, Jiacheng Wei, Fayao Liu, Jiashi Feng, Guosheng Lin, Jianfeng Zhang

cs.AI

Resumen

Las aplicaciones interactivas modernas demandan cada vez más contenido 3D dinámico, sin embargo, la transformación de modelos 3D estáticos en recursos animados constituye un cuello de botella significativo en los flujos de trabajo de creación de contenido. Si bien los avances recientes en IA generativa han revolucionado la creación de modelos 3D estáticos, el rigging y la animación siguen dependiendo en gran medida de la intervención experta. Presentamos Puppeteer, un marco integral que aborda tanto el rigging automático como la animación para diversos objetos 3D. Nuestro sistema primero predice estructuras esqueléticas plausibles mediante un transformador autorregresivo que introduce una estrategia de tokenización basada en articulaciones para una representación compacta y una metodología de ordenamiento jerárquico con perturbación estocástica que mejora las capacidades de aprendizaje bidireccional. Luego, infiere los pesos de skinning mediante una arquitectura basada en atención que incorpora atención conjunta consciente de la topología, codificando explícitamente las relaciones entre articulaciones basadas en distancias del grafo esquelético. Finalmente, complementamos estos avances en rigging con una canalización de animación basada en optimización diferenciable que genera animaciones estables y de alta fidelidad, siendo computacionalmente más eficiente que los enfoques existentes. Evaluaciones exhaustivas en múltiples benchmarks demuestran que nuestro método supera significativamente a las técnicas de vanguardia tanto en precisión de predicción esquelética como en calidad de skinning. El sistema procesa de manera robusta contenido 3D diverso, que va desde recursos de juegos diseñados profesionalmente hasta formas generadas por IA, produciendo animaciones temporalmente coherentes que eliminan los problemas de vibración comunes en los métodos existentes.

English

Modern interactive applications increasingly demand dynamic 3D content, yet the transformation of static 3D models into animated assets constitutes a significant bottleneck in content creation pipelines. While recent advances in generative AI have revolutionized static 3D model creation, rigging and animation continue to depend heavily on expert intervention. We present Puppeteer, a comprehensive framework that addresses both automatic rigging and animation for diverse 3D objects. Our system first predicts plausible skeletal structures via an auto-regressive transformer that introduces a joint-based tokenization strategy for compact representation and a hierarchical ordering methodology with stochastic perturbation that enhances bidirectional learning capabilities. It then infers skinning weights via an attention-based architecture incorporating topology-aware joint attention that explicitly encodes inter-joint relationships based on skeletal graph distances. Finally, we complement these rigging advances with a differentiable optimization-based animation pipeline that generates stable, high-fidelity animations while being computationally more efficient than existing approaches. Extensive evaluations across multiple benchmarks demonstrate that our method significantly outperforms state-of-the-art techniques in both skeletal prediction accuracy and skinning quality. The system robustly processes diverse 3D content, ranging from professionally designed game assets to AI-generated shapes, producing temporally coherent animations that eliminate the jittering issues common in existing methods.