Puppeteer: Rigga e Anima i Tuoi Modelli 3D

Puppeteer: Rig and Animate Your 3D Models

August 14, 2025

Autori: Chaoyue Song, Xiu Li, Fan Yang, Zhongcong Xu, Jiacheng Wei, Fayao Liu, Jiashi Feng, Guosheng Lin, Jianfeng Zhang

cs.AI

Abstract

Le applicazioni interattive moderne richiedono sempre più contenuti 3D dinamici, tuttavia la trasformazione di modelli 3D statici in asset animati rappresenta un significativo collo di bottiglia nei flussi di lavoro di creazione dei contenuti. Sebbene i recenti progressi nell'IA generativa abbiano rivoluzionato la creazione di modelli 3D statici, il rigging e l'animazione continuano a dipendere fortemente dall'intervento di esperti. Presentiamo Puppeteer, un framework completo che affronta sia il rigging automatico che l'animazione per oggetti 3D di diverso tipo. Il nostro sistema prevede innanzitutto strutture scheletriche plausibili attraverso un trasformatore auto-regressivo che introduce una strategia di tokenizzazione basata sulle articolazioni per una rappresentazione compatta e una metodologia di ordinamento gerarchico con perturbazione stocastica che migliora le capacità di apprendimento bidirezionale. Successivamente, inferisce i pesi di skinning attraverso un'architettura basata sull'attenzione che incorpora un'attenzione congiunta consapevole della topologia, codificando esplicitamente le relazioni tra le articolazioni in base alle distanze del grafo scheletrico. Infine, integriamo questi progressi nel rigging con una pipeline di animazione basata su ottimizzazione differenziabile che genera animazioni stabili e ad alta fedeltà, essendo al contempo computazionalmente più efficiente rispetto agli approcci esistenti. Valutazioni estese su più benchmark dimostrano che il nostro metodo supera significativamente le tecniche all'avanguardia sia in termini di accuratezza nella previsione scheletrica che di qualità del skinning. Il sistema elabora in modo robusto contenuti 3D diversificati, che vanno da asset di gioco progettati professionalmente a forme generate dall'IA, producendo animazioni temporalmente coerenti che eliminano i problemi di tremolio comuni nei metodi esistenti.

English

Modern interactive applications increasingly demand dynamic 3D content, yet the transformation of static 3D models into animated assets constitutes a significant bottleneck in content creation pipelines. While recent advances in generative AI have revolutionized static 3D model creation, rigging and animation continue to depend heavily on expert intervention. We present Puppeteer, a comprehensive framework that addresses both automatic rigging and animation for diverse 3D objects. Our system first predicts plausible skeletal structures via an auto-regressive transformer that introduces a joint-based tokenization strategy for compact representation and a hierarchical ordering methodology with stochastic perturbation that enhances bidirectional learning capabilities. It then infers skinning weights via an attention-based architecture incorporating topology-aware joint attention that explicitly encodes inter-joint relationships based on skeletal graph distances. Finally, we complement these rigging advances with a differentiable optimization-based animation pipeline that generates stable, high-fidelity animations while being computationally more efficient than existing approaches. Extensive evaluations across multiple benchmarks demonstrate that our method significantly outperforms state-of-the-art techniques in both skeletal prediction accuracy and skinning quality. The system robustly processes diverse 3D content, ranging from professionally designed game assets to AI-generated shapes, producing temporally coherent animations that eliminate the jittering issues common in existing methods.