MagicArticulate: Подготовьте ваши 3D-модели к артикуляции

MagicArticulate: Make Your 3D Models Articulation-Ready

February 17, 2025

Авторы: Chaoyue Song, Jianfeng Zhang, Xiu Li, Fan Yang, Yiwen Chen, Zhongcong Xu, Jun Hao Liew, Xiaoyang Guo, Fayao Liu, Jiashi Feng, Guosheng Lin

cs.AI

Аннотация

С бурным ростом создания 3D-контента возникает всё большая потребность в автоматическом преобразовании статических 3D-моделей в версии, готовые к артикуляции и поддерживающие реалистичную анимацию. Традиционные подходы в значительной степени полагаются на ручную аннотацию, что является трудоёмким и затратным по времени процессом. Более того, отсутствие крупномасштабных бенчмарков сдерживало развитие решений на основе обучения. В данной работе мы представляем MagicArticulate — эффективный фреймворк, который автоматически преобразует статические 3D-модели в ресурсы, готовые к артикуляции. Наши ключевые вклады заключаются в трёх аспектах. Во-первых, мы представляем Articulation-XL — крупномасштабный бенчмарк, содержащий более 33 тысяч 3D-моделей с высококачественными аннотациями артикуляции, тщательно отобранными из Objaverse-XL. Во-вторых, мы предлагаем новый метод генерации скелетов, который формулирует задачу как проблему моделирования последовательностей, используя авторегрессивный трансформер для естественного обработки различного количества костей или суставов в скелетах и их внутренних зависимостей в различных 3D-моделях. В-третьих, мы предсказываем веса скиннинга с помощью функционального диффузионного процесса, который учитывает приоритеты объёмных геодезических расстояний между вершинами и суставами. Многочисленные эксперименты демонстрируют, что MagicArticulate значительно превосходит существующие методы в различных категориях объектов, обеспечивая высококачественную артикуляцию, которая позволяет создавать реалистичную анимацию. Страница проекта: https://chaoyuesong.github.io/MagicArticulate.

English

With the explosive growth of 3D content creation, there is an increasing demand for automatically converting static 3D models into articulation-ready versions that support realistic animation. Traditional approaches rely heavily on manual annotation, which is both time-consuming and labor-intensive. Moreover, the lack of large-scale benchmarks has hindered the development of learning-based solutions. In this work, we present MagicArticulate, an effective framework that automatically transforms static 3D models into articulation-ready assets. Our key contributions are threefold. First, we introduce Articulation-XL, a large-scale benchmark containing over 33k 3D models with high-quality articulation annotations, carefully curated from Objaverse-XL. Second, we propose a novel skeleton generation method that formulates the task as a sequence modeling problem, leveraging an auto-regressive transformer to naturally handle varying numbers of bones or joints within skeletons and their inherent dependencies across different 3D models. Third, we predict skinning weights using a functional diffusion process that incorporates volumetric geodesic distance priors between vertices and joints. Extensive experiments demonstrate that MagicArticulate significantly outperforms existing methods across diverse object categories, achieving high-quality articulation that enables realistic animation. Project page: https://chaoyuesong.github.io/MagicArticulate.