SIMART: Разложение монолитных сеток на готовые к симуляции сочлененные ассеты с помощью MLLM

SIMART: Decomposing Monolithic Meshes into Sim-ready Articulated Assets via MLLM

March 24, 2026

Авторы: Chuanrui Zhang, Minghan Qin, Yuang Wang, Baifeng Xie, Hang Li, Ziwei Wang

cs.AI

Аннотация

Высококачественные сочлененные 3D-ассеты являются незаменимыми для воплощенного ИИ и физического моделирования, однако генерация 3D по-прежнему сосредоточена на статических сетках, оставляя пробел в интерактивных объектах, готовых к симуляции. Большинство современных методов создания сочлененных объектов опираются на многоэтапные конвейеры, в которых ошибки накапливаются в развязанных модулях. В качестве альтернативы унифицированные MLLM предлагают одноэтапный путь к совместному пониманию статических ассетов и генерации ассетов, готовых к симуляции. Однако плотная воксельная 3D-токенизация порождает длинные последовательности 3D-токенов и высокие накладные расходы памяти, ограничивая масштабируемость для сложных сочлененных объектов. Для решения этой проблемы мы предлагаем SIMART, унифицированную MLLM-структуру, которая совместно выполняет декомпозицию на уровне частей и кинематическое прогнозирование. Благодаря внедрению разреженного 3D VQ-VAE, SIMART сокращает количество токенов на 70% по сравнению с плотными воксельными токенами, обеспечивая создание многокомпонентных сборок высокой точности. SIMART демонстрирует наилучшую производительность на наборах данных PartNet-Mobility и AIGC из реального мира и позволяет проводить физически корректную роботизированную симуляцию.

English

High-quality articulated 3D assets are indispensable for embodied AI and physical simulation, yet 3D generation still focuses on static meshes, leaving a gap in "sim-ready" interactive objects. Most recent articulated object creation methods rely on multi-stage pipelines that accumulate errors across decoupled modules. Alternatively, unified MLLMs offer a single-stage path to joint static asset understanding and sim-ready asset generation. However dense voxel-based 3D tokenization yields long 3D token sequences and high memory overhead, limiting scalability to complex articulated objects. To address this, we propose SIMART, a unified MLLM framework that jointly performs part-level decomposition and kinematic prediction. By introducing a Sparse 3D VQ-VAE, SIMART reduces token counts by 70% vs. dense voxel tokens, enabling high-fidelity multi-part assemblies. SIMART achieves state-of-the-art performance on PartNet-Mobility and in-the-wild AIGC datasets, and enables physics-based robotic simulation.