CubePart: een open-vocabulaire deelcontroleerbare 3D-generator

Samenvatting

Interactieve 3D-assets die worden gebruikt in games en simulaties worden doorgaans opgesplitst in specifieke semantische onderdelen om animatie, fysica en scriptgedrag te ondersteunen, maar de meeste generatieve 3D-modellen produceren ofwel monolithische meshes ofwel willekeurige decomposities in onderdelen die niet kunnen worden afgestemd op toepassingsspecifieke vereisten. Wij presenteren CubePart, een generatief raamwerk voor open-vocabulary, deel-controleerbare 3D-meshgeneratie dat de onderdelenstructuur blootlegt als een expliciet controlesignaal tijdens inferentie. Op basis van een globale tekstprompt en een door de gebruiker gedefinieerd deelschema, uitgedrukt als een open lijst van onderdeelnamen, genereert onze methode een reeks meshes – één per schema-element – die samen een coherent object vormen met respect voor de gespecificeerde semantische structuur. Om deze functionaliteit mogelijk te maken, introduceren we een schaalbare datapijplijn voor het construeren van een grootschalige open-vocabulary, gelabelde 3D-dataset, samen met een tweetraps generatieve architectuur die globale vormensynthese scheidt van decodering op onderdeelniveau. We tonen aan dat de resulterende assets rechtstreeks kunnen worden geïntegreerd in game-engines en kunnen worden aangestuurd door animatie- en gedragsscripts zonder handmatige nabewerking. Projectpagina: https://cubepart.github.io/

English

Interactive 3D assets used in games and simulation are typically decomposed into specific semantic parts to support animation, physics, and scripted behaviors, yet most generative 3D models produce either monolithic meshes or arbitrary part decompositions that cannot be aligned with application-specific requirements. We present CubePart, a generative framework for open-vocabulary, part-controllable 3D mesh generation that exposes part structure as an explicit inference-time control signal. Given a global text prompt and a user-defined parts schema expressed as an open-ended list of part names, our method generates a set of meshes - one per schema element - that assemble into a coherent object while respecting the specified semantic structure. To enable this capability, we introduce a scalable data pipeline to construct a large open-vocabulary, part-labeled 3D dataset, along with a two-stage generative architecture that separates global shape synthesis from part-level decoding. We demonstrate that the resulting assets can be directly integrated into game engines and driven by animation and behavior scripts without manual post-processing. Project Page: https://cubepart.github.io/