DreamPartGen: Geração Semântica de Partes em 3D a Nível de Componente via Eliminação de Ruído Colaborativa em Espaço Latente
DreamPartGen: Semantically Grounded Part-Level 3D Generation via Collaborative Latent Denoising
March 19, 2026
Autores: Tianjiao Yu, Xinzhuo Li, Muntasir Wahed, Jerry Xiong, Yifan Shen, Ying Shen, Ismini Lourentzou
cs.AI
Resumo
Compreender e gerar objetos 3D como composições de partes significativas é fundamental para a percepção e raciocínio humanos. No entanto, a maioria dos métodos de texto-para-3D ignora a estrutura semântica e funcional das partes. Embora abordagens recentes com consciência de partes introduzam decomposição, elas permanecem amplamente focadas na geometria, carecendo de fundamentação semântica e falhando em modelar como as partes se alinham com descrições textuais ou suas relações interpartes. Propomos o DreamPartGen, uma estrutura para geração texto-para-3D com consciência de partes e fundamentação semântica. O DreamPartGen introduz *Latentes de Parte Duplex (LPDs)* que modelam conjuntamente a geometria e a aparência de cada parte, e *Latentes Semânticos Relacionais (LSRs)* que capturam dependências interpartes derivadas da linguagem. Um processo sincronizado de co-desruição de ruído impõe consistência geométrica e semântica mútua, permitindo uma síntese 3D coerente, interpretável e alinhada com o texto. Em múltiplos benchmarks, o DreamPartGen oferece desempenho state-of-the-art em fidelidade geométrica e alinhamento texto-forma.
English
Understanding and generating 3D objects as compositions of meaningful parts is fundamental to human perception and reasoning. However, most text-to-3D methods overlook the semantic and functional structure of parts. While recent part-aware approaches introduce decomposition, they remain largely geometry-focused, lacking semantic grounding and failing to model how parts align with textual descriptions or their inter-part relations. We propose DreamPartGen, a framework for semantically grounded, part-aware text-to-3D generation. DreamPartGen introduces Duplex Part Latents (DPLs) that jointly model each part's geometry and appearance, and Relational Semantic Latents (RSLs) that capture inter-part dependencies derived from language. A synchronized co-denoising process enforces mutual geometric and semantic consistency, enabling coherent, interpretable, and text-aligned 3D synthesis. Across multiple benchmarks, DreamPartGen delivers state-of-the-art performance in geometric fidelity and text-shape alignment.