MagicArticulate: Rendi i tuoi Modelli 3D Pronti per l'Articolazione

MagicArticulate: Make Your 3D Models Articulation-Ready

February 17, 2025

Autori: Chaoyue Song, Jianfeng Zhang, Xiu Li, Fan Yang, Yiwen Chen, Zhongcong Xu, Jun Hao Liew, Xiaoyang Guo, Fayao Liu, Jiashi Feng, Guosheng Lin

cs.AI

Abstract

Con la crescita esplosiva della creazione di contenuti 3D, c'è una crescente richiesta di convertire automaticamente modelli 3D statici in versioni pronte per l'articolazione che supportino animazioni realistiche. Gli approcci tradizionali si basano fortemente su annotazioni manuali, che sono sia dispendiose in termini di tempo che laboriose. Inoltre, la mancanza di benchmark su larga scala ha ostacolato lo sviluppo di soluzioni basate sull'apprendimento. In questo lavoro, presentiamo MagicArticulate, un framework efficace che trasforma automaticamente modelli 3D statici in asset pronti per l'articolazione. I nostri contributi principali sono tre. Innanzitutto, introduciamo Articulation-XL, un benchmark su larga scala contenente oltre 33k modelli 3D con annotazioni di articolazione di alta qualità, accuratamente selezionati da Objaverse-XL. In secondo luogo, proponiamo un nuovo metodo di generazione dello scheletro che formula il compito come un problema di modellazione sequenziale, sfruttando un trasformatore auto-regressivo per gestire naturalmente numeri variabili di ossa o giunture all'interno degli scheletri e le loro dipendenze intrinseche tra diversi modelli 3D. In terzo luogo, prevediamo i pesi di skinning utilizzando un processo di diffusione funzionale che incorpora priorità di distanza geodetica volumetrica tra vertici e giunture. Esperimenti estesi dimostrano che MagicArticulate supera significativamente i metodi esistenti in diverse categorie di oggetti, raggiungendo un'articolazione di alta qualità che consente animazioni realistiche. Pagina del progetto: https://chaoyuesong.github.io/MagicArticulate.

English

With the explosive growth of 3D content creation, there is an increasing demand for automatically converting static 3D models into articulation-ready versions that support realistic animation. Traditional approaches rely heavily on manual annotation, which is both time-consuming and labor-intensive. Moreover, the lack of large-scale benchmarks has hindered the development of learning-based solutions. In this work, we present MagicArticulate, an effective framework that automatically transforms static 3D models into articulation-ready assets. Our key contributions are threefold. First, we introduce Articulation-XL, a large-scale benchmark containing over 33k 3D models with high-quality articulation annotations, carefully curated from Objaverse-XL. Second, we propose a novel skeleton generation method that formulates the task as a sequence modeling problem, leveraging an auto-regressive transformer to naturally handle varying numbers of bones or joints within skeletons and their inherent dependencies across different 3D models. Third, we predict skinning weights using a functional diffusion process that incorporates volumetric geodesic distance priors between vertices and joints. Extensive experiments demonstrate that MagicArticulate significantly outperforms existing methods across diverse object categories, achieving high-quality articulation that enables realistic animation. Project page: https://chaoyuesong.github.io/MagicArticulate.