Puppeteer : Riggez et animez vos modèles 3D

Puppeteer: Rig and Animate Your 3D Models

August 14, 2025

papers.authors: Chaoyue Song, Xiu Li, Fan Yang, Zhongcong Xu, Jiacheng Wei, Fayao Liu, Jiashi Feng, Guosheng Lin, Jianfeng Zhang

cs.AI

papers.abstract

Les applications interactives modernes exigent de plus en plus de contenu 3D dynamique, mais la transformation de modèles 3D statiques en ressources animées constitue un goulot d'étranglement majeur dans les pipelines de création de contenu. Bien que les récentes avancées en IA générative aient révolutionné la création de modèles 3D statiques, le rigging et l'animation continuent de dépendre fortement de l'intervention d'experts. Nous présentons Puppeteer, un cadre complet qui aborde à la fois le rigging automatique et l'animation pour divers objets 3D. Notre système prédit d'abord des structures squelettiques plausibles via un transformateur auto-régressif qui introduit une stratégie de tokenisation basée sur les articulations pour une représentation compacte, ainsi qu'une méthodologie d'ordonnancement hiérarchique avec perturbation stochastique qui améliore les capacités d'apprentissage bidirectionnel. Il infère ensuite les poids de skinning via une architecture basée sur l'attention incorporant une attention conjointe consciente de la topologie, qui encode explicitement les relations inter-articulations basées sur les distances du graphe squelettique. Enfin, nous complétons ces avancées en rigging par un pipeline d'animation basé sur une optimisation différentiable, générant des animations stables et de haute fidélité tout en étant plus efficace sur le plan computationnel que les approches existantes. Des évaluations approfondies sur plusieurs benchmarks démontrent que notre méthode surpasse significativement les techniques de pointe en termes de précision de prédiction squelettique et de qualité de skinning. Le système traite de manière robuste divers contenus 3D, allant des ressources de jeu conçues par des professionnels aux formes générées par IA, produisant des animations temporellement cohérentes qui éliminent les problèmes de saccades courants dans les méthodes existantes.

English

Modern interactive applications increasingly demand dynamic 3D content, yet the transformation of static 3D models into animated assets constitutes a significant bottleneck in content creation pipelines. While recent advances in generative AI have revolutionized static 3D model creation, rigging and animation continue to depend heavily on expert intervention. We present Puppeteer, a comprehensive framework that addresses both automatic rigging and animation for diverse 3D objects. Our system first predicts plausible skeletal structures via an auto-regressive transformer that introduces a joint-based tokenization strategy for compact representation and a hierarchical ordering methodology with stochastic perturbation that enhances bidirectional learning capabilities. It then infers skinning weights via an attention-based architecture incorporating topology-aware joint attention that explicitly encodes inter-joint relationships based on skeletal graph distances. Finally, we complement these rigging advances with a differentiable optimization-based animation pipeline that generates stable, high-fidelity animations while being computationally more efficient than existing approaches. Extensive evaluations across multiple benchmarks demonstrate that our method significantly outperforms state-of-the-art techniques in both skeletal prediction accuracy and skinning quality. The system robustly processes diverse 3D content, ranging from professionally designed game assets to AI-generated shapes, producing temporally coherent animations that eliminate the jittering issues common in existing methods.