CubePart: 3D-генератор с открытым словарём и управлением по частям

Аннотация

Интерактивные 3D-активы, используемые в играх и симуляциях, обычно декомпозируются на конкретные семантические части для поддержки анимации, физики и скриптового поведения, однако большинство генеративных 3D-моделей создают либо монолитные сетки, либо произвольные декомпозиции на части, которые невозможно согласовать с требованиями конкретных приложений. Мы представляем CubePart — генеративный фреймворк для создания 3D-мешей с открытым словарём и управляемыми частями, который предоставляет структуру частей в качестве явного управляющего сигнала на этапе инференса. Имея глобальный текстовый промпт и заданную пользователем схему частей, выраженную в виде открытого списка имён частей, наш метод генерирует набор мешей — по одному на каждый элемент схемы, — которые собираются в связный объект, соблюдая заданную семантическую структуру. Для реализации этой возможности мы представляем масштабируемый конвейер данных для построения большого 3D-датасета с открытым словарём и размеченными частями, а также двухэтапную генеративную архитектуру, разделяющую синтез глобальной формы и декодирование на уровне частей. Мы демонстрируем, что полученные активы можно напрямую интегрировать в игровые движки и управлять с помощью скриптов анимации и поведения без ручной постобработки. Страница проекта: https://cubepart.github.io/

English

Interactive 3D assets used in games and simulation are typically decomposed into specific semantic parts to support animation, physics, and scripted behaviors, yet most generative 3D models produce either monolithic meshes or arbitrary part decompositions that cannot be aligned with application-specific requirements. We present CubePart, a generative framework for open-vocabulary, part-controllable 3D mesh generation that exposes part structure as an explicit inference-time control signal. Given a global text prompt and a user-defined parts schema expressed as an open-ended list of part names, our method generates a set of meshes - one per schema element - that assemble into a coherent object while respecting the specified semantic structure. To enable this capability, we introduce a scalable data pipeline to construct a large open-vocabulary, part-labeled 3D dataset, along with a two-stage generative architecture that separates global shape synthesis from part-level decoding. We demonstrate that the resulting assets can be directly integrated into game engines and driven by animation and behavior scripts without manual post-processing. Project Page: https://cubepart.github.io/