CubePart: Ein bauteilgesteuerter 3D-Generator mit offenem Vokabular

Zusammenfassung

Interaktive 3D-Assets, die in Spielen und Simulationen verwendet werden, werden typischerweise in bestimmte semantische Teile zerlegt, um Animation, Physik und skriptgesteuertes Verhalten zu unterstützen. Dennoch erzeugen die meisten generativen 3D-Modelle entweder monolithische Meshes oder willkürliche Teilzerlegungen, die nicht an anwendungsspezifische Anforderungen angepasst werden können. Wir stellen CubePart vor, ein generatives Framework für die teilegesteuerte 3D-Mesh-Generierung mit offenem Vokabular, das die Teilstruktur als explizites Kontrollsignal zur Inferenzzeit bereitstellt. Gegeben einen globalen Text-Prompt und ein benutzerdefiniertes Teileschema, das als offene Liste von Teilnamen ausgedrückt wird, erzeugt unsere Methode einen Satz von Meshes – eines pro Schema-Element – die sich zu einem kohärenten Objekt zusammensetzen, während die spezifizierte semantische Struktur eingehalten wird. Um diese Fähigkeit zu ermöglichen, führen wir eine skalierbare Datenpipeline ein, um einen großen, mit offenem Vokabular und teilemarkierten 3D-Datensatz zu konstruieren, zusammen mit einer zweistufigen generativen Architektur, die die globale Formgenerierung von der teilebenen Dekodierung trennt. Wir demonstrieren, dass die resultierenden Assets direkt in Spiel-Engines integriert und durch Animations- und Verhaltensskripte gesteuert werden können, ohne manuelle Nachbearbeitung. Projektseite: https://cubepart.github.io/

English

Interactive 3D assets used in games and simulation are typically decomposed into specific semantic parts to support animation, physics, and scripted behaviors, yet most generative 3D models produce either monolithic meshes or arbitrary part decompositions that cannot be aligned with application-specific requirements. We present CubePart, a generative framework for open-vocabulary, part-controllable 3D mesh generation that exposes part structure as an explicit inference-time control signal. Given a global text prompt and a user-defined parts schema expressed as an open-ended list of part names, our method generates a set of meshes - one per schema element - that assemble into a coherent object while respecting the specified semantic structure. To enable this capability, we introduce a scalable data pipeline to construct a large open-vocabulary, part-labeled 3D dataset, along with a two-stage generative architecture that separates global shape synthesis from part-level decoding. We demonstrate that the resulting assets can be directly integrated into game engines and driven by animation and behavior scripts without manual post-processing. Project Page: https://cubepart.github.io/