Puppeteer: Riggen und Animieren Ihrer 3D-Modelle

papers.abstract

Moderne interaktive Anwendungen erfordern zunehmend dynamische 3D-Inhalte, doch die Umwandlung statischer 3D-Modelle in animierte Assets stellt einen erheblichen Engpass in den Content-Erstellungspipelines dar. Während jüngste Fortschritte in der generativen KI die Erstellung statischer 3D-Modelle revolutioniert haben, sind Rigging und Animation nach wie vor stark auf Experteneingriffe angewiesen. Wir präsentieren Puppeteer, ein umfassendes Framework, das sowohl automatisches Rigging als auch Animation für diverse 3D-Objekte adressiert. Unser System sagt zunächst plausible Skelettstrukturen über einen autoregressiven Transformer voraus, der eine gelenkbasierte Tokenisierungsstrategie für eine kompakte Darstellung sowie eine hierarchische Ordnungsmethodik mit stochastischer Störung einführt, die bidirektionale Lernfähigkeiten verbessert. Anschließend leitet es Skinning-Gewichte über eine aufmerksamkeitsbasierte Architektur ab, die topologiebewusste Gelenkaufmerksamkeit integriert und explizit inter-gelenkliche Beziehungen basierend auf Skelett-Graph-Distanzen kodiert. Schließlich ergänzen wir diese Rigging-Fortschritte durch eine differenzierbare, optimierungsbasierte Animationspipeline, die stabile, hochwertige Animationen erzeugt und dabei recheneffizienter ist als bestehende Ansätze. Umfangreiche Evaluierungen über mehrere Benchmarks hinweg zeigen, dass unsere Methode sowohl in der Genauigkeit der Skelettvorhersage als auch in der Qualität des Skinnings state-of-the-art-Techniken deutlich übertrifft. Das System verarbeitet robust diverse 3D-Inhalte, von professionell gestalteten Spiel-Assets bis hin zu KI-generierten Formen, und erzeugt zeitlich kohärente Animationen, die die in bestehenden Methoden häufig auftretenden Ruckelprobleme beseitigen.

English

Modern interactive applications increasingly demand dynamic 3D content, yet the transformation of static 3D models into animated assets constitutes a significant bottleneck in content creation pipelines. While recent advances in generative AI have revolutionized static 3D model creation, rigging and animation continue to depend heavily on expert intervention. We present Puppeteer, a comprehensive framework that addresses both automatic rigging and animation for diverse 3D objects. Our system first predicts plausible skeletal structures via an auto-regressive transformer that introduces a joint-based tokenization strategy for compact representation and a hierarchical ordering methodology with stochastic perturbation that enhances bidirectional learning capabilities. It then infers skinning weights via an attention-based architecture incorporating topology-aware joint attention that explicitly encodes inter-joint relationships based on skeletal graph distances. Finally, we complement these rigging advances with a differentiable optimization-based animation pipeline that generates stable, high-fidelity animations while being computationally more efficient than existing approaches. Extensive evaluations across multiple benchmarks demonstrate that our method significantly outperforms state-of-the-art techniques in both skeletal prediction accuracy and skinning quality. The system robustly processes diverse 3D content, ranging from professionally designed game assets to AI-generated shapes, producing temporally coherent animations that eliminate the jittering issues common in existing methods.

Puppeteer: Riggen und Animieren Ihrer 3D-Modelle

Puppeteer: Rig and Animate Your 3D Models

papers.abstract

Support