DreamPartGen: Generazione 3D a Livello di Parte Semanticamente Fondata tramite Denoising Latente Collaborativo

DreamPartGen: Semantically Grounded Part-Level 3D Generation via Collaborative Latent Denoising

March 19, 2026

Autori: Tianjiao Yu, Xinzhuo Li, Muntasir Wahed, Jerry Xiong, Yifan Shen, Ying Shen, Ismini Lourentzou

cs.AI

Abstract

Comprendere e generare oggetti 3D come composizioni di parti significative è fondamentale per la percezione e il ragionamento umani. Tuttavia, la maggior parte dei metodi di text-to-3D trascura la struttura semantica e funzionale delle parti. Sebbene approcci recenti che considerano le parti introducano la scomposizione, rimangono prevalentemente focalizzati sulla geometria, mancando di un ancoraggio semantico e non modellando come le parti si allineano alle descrizioni testuali o alle loro relazioni reciproche. Proponiamo DreamPartGen, un framework per la generazione text-to-3D consapevole delle parti e semanticamente fondata. DreamPartGen introduce *Duplex Part Latents* (DPL) che modellano congiuntamente la geometria e l'aspetto di ciascuna parte, e *Relational Semantic Latents* (RSL) che catturano le dipendenze inter-parte derivate dal linguaggio. Un processo di co-denoising sincronizzato impone una reciproca coerenza geometrica e semantica, consentendo una sintesi 3D coerente, interpretabile e allineata al testo. Su molteplici benchmark, DreamPartGen fornisce prestazioni all'avanguardia nella fedeltà geometrica e nell'allineamento testo-forma.

English

Understanding and generating 3D objects as compositions of meaningful parts is fundamental to human perception and reasoning. However, most text-to-3D methods overlook the semantic and functional structure of parts. While recent part-aware approaches introduce decomposition, they remain largely geometry-focused, lacking semantic grounding and failing to model how parts align with textual descriptions or their inter-part relations. We propose DreamPartGen, a framework for semantically grounded, part-aware text-to-3D generation. DreamPartGen introduces Duplex Part Latents (DPLs) that jointly model each part's geometry and appearance, and Relational Semantic Latents (RSLs) that capture inter-part dependencies derived from language. A synchronized co-denoising process enforces mutual geometric and semantic consistency, enabling coherent, interpretable, and text-aligned 3D synthesis. Across multiple benchmarks, DreamPartGen delivers state-of-the-art performance in geometric fidelity and text-shape alignment.