COREA: 양방향 3D-to-3D 지도를 통한 재조명 가능한 3D 가우시안과 SDF 간의 Coarse-to-Fine 3D 표현 정렬

COREA: Coarse-to-Fine 3D Representation Alignment Between Relightable 3D Gaussians and SDF via Bidirectional 3D-to-3D Supervision

December 8, 2025

저자: Jaeyoon Lee, Hojoon Jung, Sungtae Hwang, Jihyong Oh, Jongwon Choi

cs.AI

초록

본 논문에서는 정확한 기하 재구성과 충실한 재조명을 위해 재조명 가능한 3D 가우시안과 부호 거리 함수(SDF)를 결합하여 학습하는 최초의 통합 프레임워크인 COREA를 제안한다. 최근 3D 가우시안 스플래팅(3DGS) 기법들이 메시 재구성 및 물리 기반 렌더링(PBR)으로 확장되고 있으나, 이들의 기하 구조는 여전히 2D 렌더링으로부터 학습되어 거친 표면과 불안정한 BRDF-조명 분해를 초래한다. 이러한 한계를 해결하기 위해 COREA는 기하 신호가 3D 공간에서 직접 학습될 수 있도록 하는 coarse-to-fine 방식의 양방향 3D-to-3D 정렬 전략을 도입한다. 이 전략 내에서 깊이는 두 표현 간의 coarse 정렬을 제공하며, 깊이 기울기와 법선은 미세 구조를 정제하고, 결과적으로 생성된 기하 구조는 안정적인 BRDF-조명 분해를 지원한다. 밀도 제어 메커니즘은 가우시안 성장을 추가로 안정화하여 기하 정확도와 메모리 효율성의 균형을 맞춘다. 표준 벤치마크 실험을 통해 COREA가 통합 프레임워크 내에서 새로운 시점 합성, 메시 재구성 및 PBR에서 우수한 성능을 달성함을 입증한다.

English

We present COREA, the first unified framework that jointly learns relightable 3D Gaussians and a Signed Distance Field (SDF) for accurate geometry reconstruction and faithful relighting. While recent 3D Gaussian Splatting (3DGS) methods have extended toward mesh reconstruction and physically-based rendering (PBR), their geometry is still learned from 2D renderings, leading to coarse surfaces and unreliable BRDF-lighting decomposition. To address these limitations, COREA introduces a coarse-to-fine bidirectional 3D-to-3D alignment strategy that allows geometric signals to be learned directly in 3D space. Within this strategy, depth provides coarse alignment between the two representations, while depth gradients and normals refine fine-scale structure, and the resulting geometry supports stable BRDF-lighting decomposition. A density-control mechanism further stabilizes Gaussian growth, balancing geometric fidelity with memory efficiency. Experiments on standard benchmarks demonstrate that COREA achieves superior performance in novel-view synthesis, mesh reconstruction, and PBR within a unified framework.