MagicArticulate: Machen Sie Ihre 3D-Modelle bereit für Artikulation

MagicArticulate: Make Your 3D Models Articulation-Ready

February 17, 2025

Autoren: Chaoyue Song, Jianfeng Zhang, Xiu Li, Fan Yang, Yiwen Chen, Zhongcong Xu, Jun Hao Liew, Xiaoyang Guo, Fayao Liu, Jiashi Feng, Guosheng Lin

cs.AI

Zusammenfassung

Mit dem explosiven Wachstum der 3D-Inhalteerstellung steigt die Nachfrage nach der automatischen Umwandlung statischer 3D-Modelle in bewegungsbereite Versionen, die realistische Animationen unterstützen. Traditionelle Ansätze stützen sich stark auf manuelle Annotation, was sowohl zeitaufwändig als auch arbeitsintensiv ist. Darüber hinaus hat der Mangel an groß angelegten Benchmarks die Entwicklung von lernbasierten Lösungen behindert. In dieser Arbeit präsentieren wir MagicArticulate, ein effektives Framework, das statische 3D-Modelle automatisch in bewegungsbereite Assets umwandelt. Unsere Hauptbeiträge sind dreifach. Erstens führen wir Articulation-XL ein, einen groß angelegten Benchmark mit über 33k 3D-Modellen mit hochwertigen Artikulationsannotationen, sorgfältig aus Objaverse-XL kuratiert. Zweitens schlagen wir eine neuartige Skelettgenerierungsmethode vor, die die Aufgabe als ein Sequenzmodellierungsproblem formuliert, wobei ein autoregressiver Transformer genutzt wird, um natürlicherweise mit variierenden Anzahlen von Knochen oder Gelenken innerhalb von Skeletten und deren inhärenten Abhängigkeiten über verschiedene 3D-Modelle umzugehen. Drittens sagen wir Skinning-Gewichte mittels eines funktionalen Diffusionsprozesses vorher, der volumetrische geodätische Distanzprioritäten zwischen Vertices und Gelenken einbezieht. Umfangreiche Experimente zeigen, dass MagicArticulate signifikant bessere Leistungen als bestehende Methoden über verschiedene Objektkategorien hinweg erzielt, hochwertige Artikulation ermöglicht und realistische Animationen ermöglicht. Projektseite: https://chaoyuesong.github.io/MagicArticulate.

English

With the explosive growth of 3D content creation, there is an increasing demand for automatically converting static 3D models into articulation-ready versions that support realistic animation. Traditional approaches rely heavily on manual annotation, which is both time-consuming and labor-intensive. Moreover, the lack of large-scale benchmarks has hindered the development of learning-based solutions. In this work, we present MagicArticulate, an effective framework that automatically transforms static 3D models into articulation-ready assets. Our key contributions are threefold. First, we introduce Articulation-XL, a large-scale benchmark containing over 33k 3D models with high-quality articulation annotations, carefully curated from Objaverse-XL. Second, we propose a novel skeleton generation method that formulates the task as a sequence modeling problem, leveraging an auto-regressive transformer to naturally handle varying numbers of bones or joints within skeletons and their inherent dependencies across different 3D models. Third, we predict skinning weights using a functional diffusion process that incorporates volumetric geodesic distance priors between vertices and joints. Extensive experiments demonstrate that MagicArticulate significantly outperforms existing methods across diverse object categories, achieving high-quality articulation that enables realistic animation. Project page: https://chaoyuesong.github.io/MagicArticulate.