DreamPartGen: Семантически обоснованное создание 3D-объектов на уровне деталей посредством совместного латентного шумоподавления
DreamPartGen: Semantically Grounded Part-Level 3D Generation via Collaborative Latent Denoising
March 19, 2026
Авторы: Tianjiao Yu, Xinzhuo Li, Muntasir Wahed, Jerry Xiong, Yifan Shen, Ying Shen, Ismini Lourentzou
cs.AI
Аннотация
Понимание и генерация 3D-объектов как композиций значимых частей является фундаментальным аспектом человеческого восприятия и мышления. Однако большинство методов генерации 3D-объектов по текстовому описанию игнорируют семантическую и функциональную структуру частей. В то время как современные подходы, учитывающие декомпозицию на части, вводят разбиение, они в основном сосредоточены на геометрии, лишены семантической обоснованности и не моделируют, как части соответствуют текстовым описаниям или каковы взаимосвязи между ними. Мы предлагаем DreamPartGen — фреймворк для семантически обоснованной генерации 3D-объектов по тексту с учетом частей. DreamPartGen вводит Дуплексные Латентные Переменные Частей (Duplex Part Latents, DPL), которые совместно моделируют геометрию и внешний вид каждой части, и Реляционные Семантические Латентные Переменные (Relational Semantic Latents, RSL), которые фиксируют зависимости между частями, выведенные из языка. Синхронизированный процесс совместного шумоподавления обеспечивает взаимную геометрическую и семантическую согласованность, позволяя осуществлять последовательный, интерпретируемый и согласованный с текстом 3D-синтез. По результатам тестирования на нескольких наборах данных DreamPartGen демонстрирует передовые показатели как по геометрической точности, так и по соответствию формы текстовому описанию.
English
Understanding and generating 3D objects as compositions of meaningful parts is fundamental to human perception and reasoning. However, most text-to-3D methods overlook the semantic and functional structure of parts. While recent part-aware approaches introduce decomposition, they remain largely geometry-focused, lacking semantic grounding and failing to model how parts align with textual descriptions or their inter-part relations. We propose DreamPartGen, a framework for semantically grounded, part-aware text-to-3D generation. DreamPartGen introduces Duplex Part Latents (DPLs) that jointly model each part's geometry and appearance, and Relational Semantic Latents (RSLs) that capture inter-part dependencies derived from language. A synchronized co-denoising process enforces mutual geometric and semantic consistency, enabling coherent, interpretable, and text-aligned 3D synthesis. Across multiple benchmarks, DreamPartGen delivers state-of-the-art performance in geometric fidelity and text-shape alignment.