DreamPartGen: Semantisch fundierte teilbasierte 3D-Generierung durch kollaborative latente Entrauschung

DreamPartGen: Semantically Grounded Part-Level 3D Generation via Collaborative Latent Denoising

March 19, 2026

Autoren: Tianjiao Yu, Xinzhuo Li, Muntasir Wahed, Jerry Xiong, Yifan Shen, Ying Shen, Ismini Lourentzou

cs.AI

Zusammenfassung

Das Verständnis und die Generierung von 3D-Objekten als Kompositionen bedeutungsvoller Teile ist grundlegend für die menschliche Wahrnehmung und Denkweise. Die meisten Text-zu-3D-Methoden übersehen jedoch die semantische und funktionale Struktur von Teilen. Während neuere teilbewusste Ansätze eine Zerlegung einführen, bleiben sie weitgehend geometriefokussiert, entbehren einer semantischen Fundierung und modellieren nicht, wie Teile mit Textbeschreibungen übereinstimmen oder welche Beziehungen zwischen ihnen bestehen. Wir stellen DreamPartGen vor, einen Framework für semantisch fundierte, teilbewusste Text-zu-3D-Generierung. DreamPartGen führt Duplex Part Latents (DPLs) ein, die gleichzeitig die Geometrie und das Erscheinungsbild jedes Teils modellieren, sowie Relational Semantic Latents (RSLs), die aus der Sprache abgeleitete Abhängigkeiten zwischen den Teilen erfassen. Ein synchronisierter Co-Denoising-Prozess erzwingt gegenseitige geometrische und semantische Konsistenz und ermöglicht so eine kohärente, interpretierbare und textabgestimmte 3D-Synthese. In mehreren Benchmarks erzielt DreamPartGen state-of-the-art Leistungen in geometrischer Treue und Text-Form-Übereinstimmung.

English

Understanding and generating 3D objects as compositions of meaningful parts is fundamental to human perception and reasoning. However, most text-to-3D methods overlook the semantic and functional structure of parts. While recent part-aware approaches introduce decomposition, they remain largely geometry-focused, lacking semantic grounding and failing to model how parts align with textual descriptions or their inter-part relations. We propose DreamPartGen, a framework for semantically grounded, part-aware text-to-3D generation. DreamPartGen introduces Duplex Part Latents (DPLs) that jointly model each part's geometry and appearance, and Relational Semantic Latents (RSLs) that capture inter-part dependencies derived from language. A synchronized co-denoising process enforces mutual geometric and semantic consistency, enabling coherent, interpretable, and text-aligned 3D synthesis. Across multiple benchmarks, DreamPartGen delivers state-of-the-art performance in geometric fidelity and text-shape alignment.