DreamPartGen: 의미론적 기반 파트 수준 3D 생성 및 협력적 잠재 노이즈 제거

초록

의미 있는 부품들의 조합으로 3D 객체를 이해하고 생성하는 것은 인간의 인지와 추론의 근간을 이룹니다. 그러나 대부분의 텍스트-3D 변환 방법은 부품의 의미론적 및 기능적 구조를 간과합니다. 최근 부품 인식 접근법이 분해 기법을 도입했지만, 여전히 기하학적 측면에 집중하여 의미론적 근거가 부족하고 부품이 텍스트 설명과 어떻게 조화를 이루는지 또는 부품 간 관계를 제대로 모델링하지 못합니다. 우리는 의미론적으로 근거 있는 부품 인식 텍스트-3D 생성 프레임워크인 DreamPartGen을 제안합니다. DreamPartGen은 각 부품의 기하학적 형상과 외관을 공동으로 모델링하는 Duplex Part Latents(DPL)와 언어에서 도출된 부품 간 상호 의존성을 포착하는 Relational Semantic Latents(RSL)를 도입합니다. 동기화된 공동 잡음 제거 과정은 기하학적 및 의미론적 일관성을 상호 강화하여 일관성 있고 해석 가능하며 텍스트와 정렬된 3D 합성을 가능하게 합니다. 다양한 벤치마크에서 DreamPartGen은 기하학적 정확도와 텍스트-형상 정렬 측면에서 최첨단 성능을 제공합니다.

English

Understanding and generating 3D objects as compositions of meaningful parts is fundamental to human perception and reasoning. However, most text-to-3D methods overlook the semantic and functional structure of parts. While recent part-aware approaches introduce decomposition, they remain largely geometry-focused, lacking semantic grounding and failing to model how parts align with textual descriptions or their inter-part relations. We propose DreamPartGen, a framework for semantically grounded, part-aware text-to-3D generation. DreamPartGen introduces Duplex Part Latents (DPLs) that jointly model each part's geometry and appearance, and Relational Semantic Latents (RSLs) that capture inter-part dependencies derived from language. A synchronized co-denoising process enforces mutual geometric and semantic consistency, enabling coherent, interpretable, and text-aligned 3D synthesis. Across multiple benchmarks, DreamPartGen delivers state-of-the-art performance in geometric fidelity and text-shape alignment.

DreamPartGen: 의미론적 기반 파트 수준 3D 생성 및 협력적 잠재 노이즈 제거

DreamPartGen: Semantically Grounded Part-Level 3D Generation via Collaborative Latent Denoising

초록

Support