MagicArticulate : Préparez vos modèles 3D pour l'articulation

MagicArticulate: Make Your 3D Models Articulation-Ready

February 17, 2025

Auteurs: Chaoyue Song, Jianfeng Zhang, Xiu Li, Fan Yang, Yiwen Chen, Zhongcong Xu, Jun Hao Liew, Xiaoyang Guo, Fayao Liu, Jiashi Feng, Guosheng Lin

cs.AI

Résumé

Avec la croissance explosive de la création de contenu 3D, il y a une demande croissante pour la conversion automatique des modèles 3D statiques en versions prêtes pour l'articulation qui prennent en charge une animation réaliste. Les approches traditionnelles reposent fortement sur l'annotation manuelle, qui est à la fois chronophage et intensive en main-d'œuvre. De plus, le manque de benchmarks à grande échelle a entravé le développement de solutions basées sur l'apprentissage. Dans ce travail, nous présentons MagicArticulate, un cadre efficace qui transforme automatiquement les modèles 3D statiques en actifs prêts pour l'articulation. Nos principales contributions sont triples. Tout d'abord, nous introduisons Articulation-XL, un benchmark à grande échelle contenant plus de 33k modèles 3D avec des annotations d'articulation de haute qualité, soigneusement sélectionnés dans Objaverse-XL. Ensuite, nous proposons une nouvelle méthode de génération de squelette qui formule la tâche comme un problème de modélisation de séquence, en exploitant un transformateur auto-régressif pour gérer naturellement des nombres variables d'os ou d'articulations au sein des squelettes et leurs dépendances inhérentes à travers différents modèles 3D. Troisièmement, nous prédisons les poids de skinning en utilisant un processus de diffusion fonctionnelle qui intègre des distances géodésiques volumétriques entre les sommets et les articulations. Des expériences approfondies démontrent que MagicArticulate surpasse significativement les méthodes existantes à travers diverses catégories d'objets, atteignant une articulation de haute qualité qui permet une animation réaliste. Page du projet : https://chaoyuesong.github.io/MagicArticulate.

English

With the explosive growth of 3D content creation, there is an increasing demand for automatically converting static 3D models into articulation-ready versions that support realistic animation. Traditional approaches rely heavily on manual annotation, which is both time-consuming and labor-intensive. Moreover, the lack of large-scale benchmarks has hindered the development of learning-based solutions. In this work, we present MagicArticulate, an effective framework that automatically transforms static 3D models into articulation-ready assets. Our key contributions are threefold. First, we introduce Articulation-XL, a large-scale benchmark containing over 33k 3D models with high-quality articulation annotations, carefully curated from Objaverse-XL. Second, we propose a novel skeleton generation method that formulates the task as a sequence modeling problem, leveraging an auto-regressive transformer to naturally handle varying numbers of bones or joints within skeletons and their inherent dependencies across different 3D models. Third, we predict skinning weights using a functional diffusion process that incorporates volumetric geodesic distance priors between vertices and joints. Extensive experiments demonstrate that MagicArticulate significantly outperforms existing methods across diverse object categories, achieving high-quality articulation that enables realistic animation. Project page: https://chaoyuesong.github.io/MagicArticulate.