MagicArticulate: Prepara tus modelos 3D para la articulación

MagicArticulate: Make Your 3D Models Articulation-Ready

February 17, 2025

Autores: Chaoyue Song, Jianfeng Zhang, Xiu Li, Fan Yang, Yiwen Chen, Zhongcong Xu, Jun Hao Liew, Xiaoyang Guo, Fayao Liu, Jiashi Feng, Guosheng Lin

cs.AI

Resumen

Con el crecimiento explosivo de la creación de contenido en 3D, hay una creciente demanda de convertir automáticamente modelos 3D estáticos en versiones listas para la articulación que admitan animaciones realistas. Los enfoques tradicionales dependen en gran medida de la anotación manual, lo cual es tanto consumidor de tiempo como intensivo en mano de obra. Además, la falta de benchmarks a gran escala ha obstaculizado el desarrollo de soluciones basadas en el aprendizaje. En este trabajo, presentamos MagicArticulate, un marco efectivo que transforma automáticamente modelos 3D estáticos en activos listos para la articulación. Nuestras contribuciones clave son triples. Primero, presentamos Articulation-XL, un benchmark a gran escala que contiene más de 33k modelos 3D con anotaciones de articulación de alta calidad, cuidadosamente seleccionados de Objaverse-XL. Segundo, proponemos un método novedoso de generación de esqueletos que formula la tarea como un problema de modelado de secuencias, aprovechando un transformador autorregresivo para manejar naturalmente números variables de huesos o articulaciones dentro de esqueletos y sus dependencias inherentes a través de diferentes modelos 3D. Tercero, predecimos pesos de ajuste utilizando un proceso de difusión funcional que incorpora distancias geodésicas volumétricas entre vértices y articulaciones. Experimentos extensos demuestran que MagicArticulate supera significativamente a los métodos existentes en diversas categorías de objetos, logrando una articulación de alta calidad que permite animaciones realistas. Página del proyecto: https://chaoyuesong.github.io/MagicArticulate.

English

With the explosive growth of 3D content creation, there is an increasing demand for automatically converting static 3D models into articulation-ready versions that support realistic animation. Traditional approaches rely heavily on manual annotation, which is both time-consuming and labor-intensive. Moreover, the lack of large-scale benchmarks has hindered the development of learning-based solutions. In this work, we present MagicArticulate, an effective framework that automatically transforms static 3D models into articulation-ready assets. Our key contributions are threefold. First, we introduce Articulation-XL, a large-scale benchmark containing over 33k 3D models with high-quality articulation annotations, carefully curated from Objaverse-XL. Second, we propose a novel skeleton generation method that formulates the task as a sequence modeling problem, leveraging an auto-regressive transformer to naturally handle varying numbers of bones or joints within skeletons and their inherent dependencies across different 3D models. Third, we predict skinning weights using a functional diffusion process that incorporates volumetric geodesic distance priors between vertices and joints. Extensive experiments demonstrate that MagicArticulate significantly outperforms existing methods across diverse object categories, achieving high-quality articulation that enables realistic animation. Project page: https://chaoyuesong.github.io/MagicArticulate.