DreamPartGen : Génération 3D au Niveau des Pièces Sémantiquement Ancrée par Dénaturation Latente Collaborative
DreamPartGen: Semantically Grounded Part-Level 3D Generation via Collaborative Latent Denoising
March 19, 2026
Auteurs: Tianjiao Yu, Xinzhuo Li, Muntasir Wahed, Jerry Xiong, Yifan Shen, Ying Shen, Ismini Lourentzou
cs.AI
Résumé
Comprendre et générer des objets 3D en tant que compositions de parties significatives est fondamental pour la perception et le raisonnement humains. Cependant, la plupart des méthodes de texte-à-3D négligent la structure sémantique et fonctionnelle des parties. Bien que les approches récentes intégrant la notion de parties introduisent une décomposition, elles restent largement axées sur la géométrie, manquant d'ancrage sémantique et échouant à modéliser l'alignement des parties avec les descriptions textuelles ou leurs relations inter-parties. Nous proposons DreamPartGen, un cadre pour la génération texte-à-3D consciente des parties et fondée sémantiquement. DreamPartGen introduit les Latents de Parties Duplex (DPLs) qui modélisent conjointement la géométrie et l'apparence de chaque partie, et les Latents Sémantiques Relationnels (RSLs) qui capturent les dépendances inter-parties dérivées du langage. Un processus de co-débruîtage synchronisé impose une cohérence mutuelle géométrique et sémantique, permettant une synthèse 3D cohérente, interprétable et alignée sur le texte. Sur plusieurs benchmarks, DreamPartGen obtient des performances de pointe en matière de fidélité géométrique et d'alignement texte-forme.
English
Understanding and generating 3D objects as compositions of meaningful parts is fundamental to human perception and reasoning. However, most text-to-3D methods overlook the semantic and functional structure of parts. While recent part-aware approaches introduce decomposition, they remain largely geometry-focused, lacking semantic grounding and failing to model how parts align with textual descriptions or their inter-part relations. We propose DreamPartGen, a framework for semantically grounded, part-aware text-to-3D generation. DreamPartGen introduces Duplex Part Latents (DPLs) that jointly model each part's geometry and appearance, and Relational Semantic Latents (RSLs) that capture inter-part dependencies derived from language. A synchronized co-denoising process enforces mutual geometric and semantic consistency, enabling coherent, interpretable, and text-aligned 3D synthesis. Across multiple benchmarks, DreamPartGen delivers state-of-the-art performance in geometric fidelity and text-shape alignment.