CubePart: Um Gerador 3D Controlável por Partes com Vocabulário Aberto

Resumo

Ativos 3D interativos usados em jogos e simulação são tipicamente decompostos em partes semânticas específicas para suportar animação, física e comportamentos programados, mas a maioria dos modelos generativos 3D produz malhas monolíticas ou decomposições arbitrárias que não podem ser alinhadas com requisitos específicos de aplicação. Apresentamos o CubePart, uma estrutura generativa para geração de malhas 3D com vocabulário aberto e controlável por partes, que expõe a estrutura de partes como um sinal de controle explícito em tempo de inferência. Dado um prompt textual global e um esquema de partes definido pelo usuário, expresso como uma lista aberta de nomes de partes, nosso método gera um conjunto de malhas — uma por elemento do esquema — que se montam em um objeto coerente, respeitando a estrutura semântica especificada. Para viabilizar essa capacidade, introduzimos um pipeline de dados escalável para construir um grande conjunto de dados 3D com vocabulário aberto e rótulos de partes, juntamente com uma arquitetura generativa de dois estágios que separa a síntese global da forma da decodificação ao nível das partes. Demonstramos que os ativos resultantes podem ser diretamente integrados aos motores de jogo e acionados por scripts de animação e comportamento, sem necessidade de pós-processamento manual. Página do projeto: https://cubepart.github.io/

English

Interactive 3D assets used in games and simulation are typically decomposed into specific semantic parts to support animation, physics, and scripted behaviors, yet most generative 3D models produce either monolithic meshes or arbitrary part decompositions that cannot be aligned with application-specific requirements. We present CubePart, a generative framework for open-vocabulary, part-controllable 3D mesh generation that exposes part structure as an explicit inference-time control signal. Given a global text prompt and a user-defined parts schema expressed as an open-ended list of part names, our method generates a set of meshes - one per schema element - that assemble into a coherent object while respecting the specified semantic structure. To enable this capability, we introduce a scalable data pipeline to construct a large open-vocabulary, part-labeled 3D dataset, along with a two-stage generative architecture that separates global shape synthesis from part-level decoding. We demonstrate that the resulting assets can be directly integrated into game engines and driven by animation and behavior scripts without manual post-processing. Project Page: https://cubepart.github.io/