CubePart: 개방형 어휘 기반 부분 제어 가능 3D 생성기

초록

게임 및 시뮬레이션에서 사용되는 인터랙티브 3D 에셋은 일반적으로 애니메이션, 물리, 스크립트 기반 동작을 지원하기 위해 특정 의미적 파트(semantic parts)로 분해되지만, 대부분의 생성형 3D 모델은 단일체 메시(monolithic mesh)나 응용 프로그램별 요구사항에 부합하지 않는 임의의 파트 분할을 생성합니다. 본 논문에서는 파트 구조를 명시적인 추론 시 제어 신호(inference-time control signal)로 노출하는, 개방형 어휘(open-vocabulary) 기반의 파트 제어 가능한 3D 메시 생성 프레임워크인 CubePart를 제시합니다. 전역 텍스트 프롬프트와 사용자가 정의한 파트 스키마(part schema)를 개방형 파트 이름 목록으로 입력받아, 우리의 방법은 스키마의 각 요소에 해당하는 메시 집합을 생성하며, 이들은 지정된 의미적 구조를 준수하면서 일관된 객체로 조립됩니다. 이러한 기능을 구현하기 위해, 우리는 확장 가능한 데이터 파이프라인을 도입하여 대규모 개방형 어휘 파트 레이블 3D 데이터셋을 구축하고, 전역 형상 합성과 파트 수준 디코딩을 분리하는 2단계 생성 아키텍처(two-stage generative architecture)를 제시합니다. 생성된 에셋은 별도의 수동 후처리 없이 게임 엔진에 직접 통합되어 애니메이션 및 동작 스크립트로 구동될 수 있음을 입증합니다. 프로젝트 페이지: https://cubepart.github.io/

English

Interactive 3D assets used in games and simulation are typically decomposed into specific semantic parts to support animation, physics, and scripted behaviors, yet most generative 3D models produce either monolithic meshes or arbitrary part decompositions that cannot be aligned with application-specific requirements. We present CubePart, a generative framework for open-vocabulary, part-controllable 3D mesh generation that exposes part structure as an explicit inference-time control signal. Given a global text prompt and a user-defined parts schema expressed as an open-ended list of part names, our method generates a set of meshes - one per schema element - that assemble into a coherent object while respecting the specified semantic structure. To enable this capability, we introduce a scalable data pipeline to construct a large open-vocabulary, part-labeled 3D dataset, along with a two-stage generative architecture that separates global shape synthesis from part-level decoding. We demonstrate that the resulting assets can be directly integrated into game engines and driven by animation and behavior scripts without manual post-processing. Project Page: https://cubepart.github.io/