MagicArticulate: Maak je 3D-modellen gereed voor articulatie

MagicArticulate: Make Your 3D Models Articulation-Ready

February 17, 2025

Auteurs: Chaoyue Song, Jianfeng Zhang, Xiu Li, Fan Yang, Yiwen Chen, Zhongcong Xu, Jun Hao Liew, Xiaoyang Guo, Fayao Liu, Jiashi Feng, Guosheng Lin

cs.AI

Samenvatting

Met de explosieve groei van 3D-contentcreatie is er een toenemende vraag naar het automatisch omzetten van statische 3D-modellen naar articulatieklare versies die realistische animatie ondersteunen. Traditionele benaderingen zijn sterk afhankelijk van handmatige annotatie, wat zowel tijdrovend als arbeidsintensief is. Bovendien heeft het ontbreken van grootschalige benchmarks de ontwikkeling van op leren gebaseerde oplossingen belemmerd. In dit werk presenteren we MagicArticulate, een effectief framework dat statische 3D-modellen automatisch omzet in articulatieklare assets. Onze belangrijkste bijdragen zijn drievoudig. Ten eerste introduceren we Articulation-XL, een grootschalige benchmark met meer dan 33k 3D-modellen met hoogwaardige articulatieannotaties, zorgvuldig samengesteld uit Objaverse-XL. Ten tweede stellen we een nieuwe skeletgeneratiemethode voor die de taak formuleert als een sequentiemodelleringsprobleem, waarbij een autoregressieve transformer wordt gebruikt om op natuurlijke wijze om te gaan met variërende aantallen botten of gewrichten binnen skeletten en hun inherente afhankelijkheden tussen verschillende 3D-modellen. Ten derde voorspellen we skinning-gewichten met behulp van een functioneel diffusieproces dat volumetrische geodetische afstandspriors tussen vertices en gewrichten incorporeert. Uitgebreide experimenten tonen aan dat MagicArticulate bestaande methoden aanzienlijk overtreft in diverse objectcategorieën, waarbij hoogwaardige articulatie wordt bereikt die realistische animatie mogelijk maakt. Projectpagina: https://chaoyuesong.github.io/MagicArticulate.

English

With the explosive growth of 3D content creation, there is an increasing demand for automatically converting static 3D models into articulation-ready versions that support realistic animation. Traditional approaches rely heavily on manual annotation, which is both time-consuming and labor-intensive. Moreover, the lack of large-scale benchmarks has hindered the development of learning-based solutions. In this work, we present MagicArticulate, an effective framework that automatically transforms static 3D models into articulation-ready assets. Our key contributions are threefold. First, we introduce Articulation-XL, a large-scale benchmark containing over 33k 3D models with high-quality articulation annotations, carefully curated from Objaverse-XL. Second, we propose a novel skeleton generation method that formulates the task as a sequence modeling problem, leveraging an auto-regressive transformer to naturally handle varying numbers of bones or joints within skeletons and their inherent dependencies across different 3D models. Third, we predict skinning weights using a functional diffusion process that incorporates volumetric geodesic distance priors between vertices and joints. Extensive experiments demonstrate that MagicArticulate significantly outperforms existing methods across diverse object categories, achieving high-quality articulation that enables realistic animation. Project page: https://chaoyuesong.github.io/MagicArticulate.