DreamPartGen: Generación Semánticamente Fundamentada de Partes 3D a Nivel de Componentes mediante Desruido Latente Colaborativo
DreamPartGen: Semantically Grounded Part-Level 3D Generation via Collaborative Latent Denoising
March 19, 2026
Autores: Tianjiao Yu, Xinzhuo Li, Muntasir Wahed, Jerry Xiong, Yifan Shen, Ying Shen, Ismini Lourentzou
cs.AI
Resumen
Comprender y generar objetos 3D como composiciones de partes significativas es fundamental para la percepción y el razonamiento humanos. Sin embargo, la mayoría de los métodos de texto-a-3D pasan por alto la estructura semántica y funcional de las partes. Si bien los enfoques recientes conscientes de las partes introducen la descomposición, se centran principalmente en la geometría, carecen de una base semántica y no logran modelar cómo las partes se alinean con las descripciones textuales o sus relaciones internas. Proponemos DreamPartGen, un marco para la generación de texto-a-3D con base semántica y consciente de las partes. DreamPartGen introduce Latentes de Partes Duplex (DPLs) que modelan conjuntamente la geometría y la apariencia de cada parte, y Latentes Semánticos Relacionales (RSLs) que capturan las dependencias entre partes derivadas del lenguaje. Un proceso de co-difuminado sincronizado impone una consistencia mutua geométrica y semántica, permitiendo una síntesis 3D coherente, interpretable y alineada con el texto. En múltiples benchmarks, DreamPartGen ofrece un rendimiento de vanguardia en fidelidad geométrica y alineación texto-forma.
English
Understanding and generating 3D objects as compositions of meaningful parts is fundamental to human perception and reasoning. However, most text-to-3D methods overlook the semantic and functional structure of parts. While recent part-aware approaches introduce decomposition, they remain largely geometry-focused, lacking semantic grounding and failing to model how parts align with textual descriptions or their inter-part relations. We propose DreamPartGen, a framework for semantically grounded, part-aware text-to-3D generation. DreamPartGen introduces Duplex Part Latents (DPLs) that jointly model each part's geometry and appearance, and Relational Semantic Latents (RSLs) that capture inter-part dependencies derived from language. A synchronized co-denoising process enforces mutual geometric and semantic consistency, enabling coherent, interpretable, and text-aligned 3D synthesis. Across multiple benchmarks, DreamPartGen delivers state-of-the-art performance in geometric fidelity and text-shape alignment.