Puppeteer: Rig en animeer je 3D-modellen

Puppeteer: Rig and Animate Your 3D Models

August 14, 2025

Auteurs: Chaoyue Song, Xiu Li, Fan Yang, Zhongcong Xu, Jiacheng Wei, Fayao Liu, Jiashi Feng, Guosheng Lin, Jianfeng Zhang

cs.AI

Samenvatting

Moderne interactieve applicaties vragen steeds vaker om dynamische 3D-inhoud, maar de transformatie van statische 3D-modellen naar geanimeerde assets vormt een aanzienlijk knelpunt in contentcreatiepijplijnen. Hoewel recente vooruitgang in generatieve AI de creatie van statische 3D-modellen heeft gerevolutioneerd, blijven rigging en animatie sterk afhankelijk van expertinterventie. Wij presenteren Puppeteer, een uitgebreid framework dat zowel automatische rigging als animatie voor diverse 3D-objecten aanpakt. Ons systeem voorspelt eerst plausibele skeletstructuren via een autoregressieve transformer die een joint-gebaseerde tokenisatiestrategie introduceert voor compacte representatie en een hiërarchische ordeningsmethodologie met stochastische perturbatie die bidirectionele leerprestaties versterkt. Vervolgens worden skinning-gewichten afgeleid via een aandacht-gebaseerde architectuur die topologiebewuste joint-attention incorporeert, waarbij inter-joint-relaties expliciet worden gecodeerd op basis van skeletgrafiekafstanden. Ten slotte vullen we deze rigging-verbeteringen aan met een differentieerbare optimalisatie-gebaseerde animatiepijplijn die stabiele, hoogwaardige animaties genereert en tegelijkertijd computationeel efficiënter is dan bestaande benaderingen. Uitgebreide evaluaties over meerdere benchmarks tonen aan dat onze methode aanzienlijk beter presteert dan state-of-the-art technieken in zowel skeletvoorspellingsnauwkeurigheid als skinningkwaliteit. Het systeem verwerkt robuust diverse 3D-inhoud, variërend van professioneel ontworpen game-assets tot AI-gegenereerde vormen, en produceert temporeel coherente animaties die de trillingsproblemen die veel voorkomen in bestaande methoden, elimineren.

English

Modern interactive applications increasingly demand dynamic 3D content, yet the transformation of static 3D models into animated assets constitutes a significant bottleneck in content creation pipelines. While recent advances in generative AI have revolutionized static 3D model creation, rigging and animation continue to depend heavily on expert intervention. We present Puppeteer, a comprehensive framework that addresses both automatic rigging and animation for diverse 3D objects. Our system first predicts plausible skeletal structures via an auto-regressive transformer that introduces a joint-based tokenization strategy for compact representation and a hierarchical ordering methodology with stochastic perturbation that enhances bidirectional learning capabilities. It then infers skinning weights via an attention-based architecture incorporating topology-aware joint attention that explicitly encodes inter-joint relationships based on skeletal graph distances. Finally, we complement these rigging advances with a differentiable optimization-based animation pipeline that generates stable, high-fidelity animations while being computationally more efficient than existing approaches. Extensive evaluations across multiple benchmarks demonstrate that our method significantly outperforms state-of-the-art techniques in both skeletal prediction accuracy and skinning quality. The system robustly processes diverse 3D content, ranging from professionally designed game assets to AI-generated shapes, producing temporally coherent animations that eliminate the jittering issues common in existing methods.