DreamPartGen: Semantisch Gegronde Deel-niveau 3D-generatie via Collaboratieve Latente Denoisering
DreamPartGen: Semantically Grounded Part-Level 3D Generation via Collaborative Latent Denoising
March 19, 2026
Auteurs: Tianjiao Yu, Xinzhuo Li, Muntasir Wahed, Jerry Xiong, Yifan Shen, Ying Shen, Ismini Lourentzou
cs.AI
Samenvatting
Het begrijpen en genereren van 3D-objecten als samenstellingen van betekenisvolle onderdelen is fundamenteel voor menselijke waarneming en redenering. De meeste tekst-naar-3D-methoden negeren echter de semantische en functionele structuur van onderdelen. Hoewel recente deelbewuste benaderingen decompositie introduceren, blijven ze grotendeels geometrisch gericht, ontbreekt het hen aan semantische verankering en slagen ze er niet in te modelleren hoe onderdelen aansluiten bij tekstuele beschrijvingen of hun onderlinge relaties. Wij stellen DreamPartGen voor, een raamwerk voor semantisch verankerde, deelbewuste tekst-naar-3D-generatie. DreamPartGen introduceert Duplex Deel Latenten (DPL's) die gezamenlijk de geometrie en het uiterlijk van elk onderdeel modelleren, en Relationele Semantische Latenten (RSL's) die onderlinge afhankelijkheden tussen onderdelen vastleggen, afgeleid uit taal. Een gesynchroniseerd co-denoisingsproces handhaaft wederzijdse geometrische en semantische consistentie, wat een coherente, interpreteerbare en tekstuitgelijnde 3D-synthese mogelijk maakt. Op meerdere benchmarks levert DreamPartGen state-of-the-art prestaties op het gebied van geometrische nauwkeurigheid en tekst-vorm-uitlijning.
English
Understanding and generating 3D objects as compositions of meaningful parts is fundamental to human perception and reasoning. However, most text-to-3D methods overlook the semantic and functional structure of parts. While recent part-aware approaches introduce decomposition, they remain largely geometry-focused, lacking semantic grounding and failing to model how parts align with textual descriptions or their inter-part relations. We propose DreamPartGen, a framework for semantically grounded, part-aware text-to-3D generation. DreamPartGen introduces Duplex Part Latents (DPLs) that jointly model each part's geometry and appearance, and Relational Semantic Latents (RSLs) that capture inter-part dependencies derived from language. A synchronized co-denoising process enforces mutual geometric and semantic consistency, enabling coherent, interpretable, and text-aligned 3D synthesis. Across multiple benchmarks, DreamPartGen delivers state-of-the-art performance in geometric fidelity and text-shape alignment.