Puppeteer: Создавайте и анимируйте свои 3D-модели

Puppeteer: Rig and Animate Your 3D Models

August 14, 2025

Авторы: Chaoyue Song, Xiu Li, Fan Yang, Zhongcong Xu, Jiacheng Wei, Fayao Liu, Jiashi Feng, Guosheng Lin, Jianfeng Zhang

cs.AI

Аннотация

Современные интерактивные приложения всё чаще требуют динамического 3D-контента, однако преобразование статических 3D-моделей в анимированные ресурсы остаётся значительным узким местом в процессах создания контента. Хотя последние достижения в области генеративного ИИ революционизировали создание статических 3D-моделей, риггинг и анимация по-прежнему сильно зависят от вмешательства экспертов. Мы представляем Puppeteer — комплексную систему, которая решает задачи автоматического риггинга и анимации для разнообразных 3D-объектов. Наша система сначала предсказывает правдоподобные скелетные структуры с помощью авторегрессивного трансформера, использующего стратегию токенизации на основе суставов для компактного представления и иерархическую методологию упорядочивания со стохастическими возмущениями, что улучшает двунаправленные возможности обучения. Затем она вычисляет веса скиннинга с помощью архитектуры на основе внимания, включающей топологически осведомлённое внимание к суставам, которое явно кодирует взаимосвязи между суставами на основе расстояний в скелетном графе. Наконец, мы дополняем эти достижения в области риггинга дифференцируемым оптимизационным конвейером анимации, который генерирует стабильные, высококачественные анимации, будучи при этом более вычислительно эффективным, чем существующие подходы. Обширные оценки на множестве бенчмарков демонстрируют, что наш метод значительно превосходит современные технологии как в точности предсказания скелета, так и в качестве скиннинга. Система надёжно обрабатывает разнообразный 3D-контент, начиная от профессионально разработанных игровых ресурсов и заканчивая сгенерированными ИИ формами, создавая временно согласованные анимации, которые устраняют проблемы с дрожанием, характерные для существующих методов.

English

Modern interactive applications increasingly demand dynamic 3D content, yet the transformation of static 3D models into animated assets constitutes a significant bottleneck in content creation pipelines. While recent advances in generative AI have revolutionized static 3D model creation, rigging and animation continue to depend heavily on expert intervention. We present Puppeteer, a comprehensive framework that addresses both automatic rigging and animation for diverse 3D objects. Our system first predicts plausible skeletal structures via an auto-regressive transformer that introduces a joint-based tokenization strategy for compact representation and a hierarchical ordering methodology with stochastic perturbation that enhances bidirectional learning capabilities. It then infers skinning weights via an attention-based architecture incorporating topology-aware joint attention that explicitly encodes inter-joint relationships based on skeletal graph distances. Finally, we complement these rigging advances with a differentiable optimization-based animation pipeline that generates stable, high-fidelity animations while being computationally more efficient than existing approaches. Extensive evaluations across multiple benchmarks demonstrate that our method significantly outperforms state-of-the-art techniques in both skeletal prediction accuracy and skinning quality. The system robustly processes diverse 3D content, ranging from professionally designed game assets to AI-generated shapes, producing temporally coherent animations that eliminate the jittering issues common in existing methods.