CubePart : un générateur 3D à vocabulaire ouvert et contrôlable par parties

Résumé

Les actifs 3D interactifs utilisés dans les jeux et la simulation sont typiquement décomposés en parties sémantiques spécifiques pour prendre en charge l'animation, la physique et les comportements scriptés, pourtant la plupart des modèles génératifs 3D produisent soit des maillages monolithiques, soit des décompositions en parties arbitraires qui ne peuvent pas être alignées sur les exigences spécifiques aux applications. Nous présentons CubePart, un cadre génératif pour la génération de maillages 3D à vocabulaire ouvert et contrôlable par parties, qui expose la structure des parties comme un signal de contrôle explicite au moment de l'inférence. Étant donné une invite textuelle globale et un schéma de parties défini par l'utilisateur, exprimé sous forme d'une liste ouverte de noms de parties, notre méthode génère un ensemble de maillages — un par élément du schéma — qui s'assemblent en un objet cohérent tout en respectant la structure sémantique spécifiée. Pour permettre cette capacité, nous introduisons un pipeline de données évolutif pour construire un grand ensemble de données 3D à vocabulaire ouvert et étiqueté par parties, ainsi qu'une architecture générative en deux étapes qui sépare la synthèse de forme globale du décodage au niveau des parties. Nous démontrons que les actifs résultants peuvent être directement intégrés dans les moteurs de jeu et pilotés par des scripts d'animation et de comportement sans post-traitement manuel. Page du projet : https://cubepart.github.io/

English

Interactive 3D assets used in games and simulation are typically decomposed into specific semantic parts to support animation, physics, and scripted behaviors, yet most generative 3D models produce either monolithic meshes or arbitrary part decompositions that cannot be aligned with application-specific requirements. We present CubePart, a generative framework for open-vocabulary, part-controllable 3D mesh generation that exposes part structure as an explicit inference-time control signal. Given a global text prompt and a user-defined parts schema expressed as an open-ended list of part names, our method generates a set of meshes - one per schema element - that assemble into a coherent object while respecting the specified semantic structure. To enable this capability, we introduce a scalable data pipeline to construct a large open-vocabulary, part-labeled 3D dataset, along with a two-stage generative architecture that separates global shape synthesis from part-level decoding. We demonstrate that the resulting assets can be directly integrated into game engines and driven by animation and behavior scripts without manual post-processing. Project Page: https://cubepart.github.io/