CubePart: Un generador 3D de vocabulario abierto y controlable por partes

Resumen

Los activos 3D interactivos utilizados en juegos y simulación suelen descomponerse en partes semánticas específicas para respaldar animación, física y comportamientos programados; sin embargo, la mayoría de los modelos generativos 3D producen mallas monolíticas o descomposiciones arbitrarias de partes que no pueden alinearse con los requisitos específicos de la aplicación. Presentamos CubePart, un marco generativo para la generación de mallas 3D controlables por partes y de vocabulario abierto, que expone la estructura de partes como una señal de control explícita durante la inferencia. Dado un prompt textual global y un esquema de partes definido por el usuario expresado como una lista abierta de nombres de partes, nuestro método genera un conjunto de mallas (una por elemento del esquema) que se ensamblan en un objeto coherente respetando la estructura semántica especificada. Para habilitar esta capacidad, introducimos un pipeline de datos escalable para construir un gran conjunto de datos 3D etiquetado por partes y de vocabulario abierto, junto con una arquitectura generativa de dos etapas que separa la síntesis de forma global de la decodificación a nivel de partes. Demostramos que los activos resultantes pueden integrarse directamente en motores de juegos y controlarse mediante scripts de animación y comportamiento sin necesidad de posprocesamiento manual. Página del proyecto: https://cubepart.github.io/

English

Interactive 3D assets used in games and simulation are typically decomposed into specific semantic parts to support animation, physics, and scripted behaviors, yet most generative 3D models produce either monolithic meshes or arbitrary part decompositions that cannot be aligned with application-specific requirements. We present CubePart, a generative framework for open-vocabulary, part-controllable 3D mesh generation that exposes part structure as an explicit inference-time control signal. Given a global text prompt and a user-defined parts schema expressed as an open-ended list of part names, our method generates a set of meshes - one per schema element - that assemble into a coherent object while respecting the specified semantic structure. To enable this capability, we introduce a scalable data pipeline to construct a large open-vocabulary, part-labeled 3D dataset, along with a two-stage generative architecture that separates global shape synthesis from part-level decoding. We demonstrate that the resulting assets can be directly integrated into game engines and driven by animation and behavior scripts without manual post-processing. Project Page: https://cubepart.github.io/