MagicArticulate: Prepare Seus Modelos 3D para Articulação

MagicArticulate: Make Your 3D Models Articulation-Ready

February 17, 2025

Autores: Chaoyue Song, Jianfeng Zhang, Xiu Li, Fan Yang, Yiwen Chen, Zhongcong Xu, Jun Hao Liew, Xiaoyang Guo, Fayao Liu, Jiashi Feng, Guosheng Lin

cs.AI

Resumo

Com o crescimento explosivo da criação de conteúdo 3D, há uma demanda crescente por conversão automática de modelos 3D estáticos em versões prontas para articulação que suportem animações realistas. As abordagens tradicionais dependem fortemente de anotações manuais, que são demoradas e trabalhosas. Além disso, a falta de benchmarks em grande escala tem dificultado o desenvolvimento de soluções baseadas em aprendizado. Neste trabalho, apresentamos o MagicArticulate, um framework eficaz que transforma automaticamente modelos 3D estáticos em ativos prontos para articulação. Nossas principais contribuições são três. Primeiro, introduzimos o Articulation-XL, um benchmark em larga escala contendo mais de 33 mil modelos 3D com anotações de articulação de alta qualidade, cuidadosamente selecionados do Objaverse-XL. Segundo, propomos um novo método de geração de esqueletos que formula a tarefa como um problema de modelagem de sequência, utilizando um transformer auto-regressivo para lidar naturalmente com números variáveis de ossos ou articulações dentro dos esqueletos e suas dependências inerentes entre diferentes modelos 3D. Terceiro, prevemos pesos de skinning usando um processo de difusão funcional que incorpora priores de distância geodésica volumétrica entre vértices e articulações. Experimentos extensivos demonstram que o MagicArticulate supera significativamente os métodos existentes em diversas categorias de objetos, alcançando articulação de alta qualidade que permite animações realistas. Página do projeto: https://chaoyuesong.github.io/MagicArticulate.

English

With the explosive growth of 3D content creation, there is an increasing demand for automatically converting static 3D models into articulation-ready versions that support realistic animation. Traditional approaches rely heavily on manual annotation, which is both time-consuming and labor-intensive. Moreover, the lack of large-scale benchmarks has hindered the development of learning-based solutions. In this work, we present MagicArticulate, an effective framework that automatically transforms static 3D models into articulation-ready assets. Our key contributions are threefold. First, we introduce Articulation-XL, a large-scale benchmark containing over 33k 3D models with high-quality articulation annotations, carefully curated from Objaverse-XL. Second, we propose a novel skeleton generation method that formulates the task as a sequence modeling problem, leveraging an auto-regressive transformer to naturally handle varying numbers of bones or joints within skeletons and their inherent dependencies across different 3D models. Third, we predict skinning weights using a functional diffusion process that incorporates volumetric geodesic distance priors between vertices and joints. Extensive experiments demonstrate that MagicArticulate significantly outperforms existing methods across diverse object categories, achieving high-quality articulation that enables realistic animation. Project page: https://chaoyuesong.github.io/MagicArticulate.