COREA: Alineación de Representación 3D de Grueso a Fino entre Gaussianos 3D Reiluminables y SDF mediante Supervisión Bidireccional 3D a 3D
COREA: Coarse-to-Fine 3D Representation Alignment Between Relightable 3D Gaussians and SDF via Bidirectional 3D-to-3D Supervision
December 8, 2025
Autores: Jaeyoon Lee, Hojoon Jung, Sungtae Hwang, Jihyong Oh, Jongwon Choi
cs.AI
Resumen
Presentamos COREA, el primer marco unificado que aprende conjuntamente gaussianos 3D relucientes y un Campo de Distancia con Signo (SDF) para una reconstrucción geométrica precisa y una reluminación fidedigna. Si bien los métodos recientes de *Gaussian Splatting* 3D (3DGS) se han extendido hacia la reconstrucción de mallas y el renderizado basado en física (PBR), su geometría aún se aprende a partir de renderizados 2D, lo que conduce a superficies toscas y a una descomposición BRDF-iluminación poco fiable. Para abordar estas limitaciones, COREA introduce una estrategia de alineación bidireccional 3D a 3D de grueso a fino que permite que las señales geométricas se aprendan directamente en el espacio 3D. Dentro de esta estrategia, la profundidad proporciona una alineación gruesa entre las dos representaciones, mientras que los gradientes de profundidad y las normales refinan la estructura a escala fina; la geometría resultante favorece una descomposición BRDF-iluminación estable. Un mecanismo de control de densidad estabiliza aún más el crecimiento de los gaussianos, equilibrando la fidelidad geométrica con la eficiencia de memoria. Los experimentos en benchmarks estándar demuestran que COREA logra un rendimiento superior en síntesis de nuevas vistas, reconstrucción de mallas y PBR dentro de un marco unificado.
English
We present COREA, the first unified framework that jointly learns relightable 3D Gaussians and a Signed Distance Field (SDF) for accurate geometry reconstruction and faithful relighting. While recent 3D Gaussian Splatting (3DGS) methods have extended toward mesh reconstruction and physically-based rendering (PBR), their geometry is still learned from 2D renderings, leading to coarse surfaces and unreliable BRDF-lighting decomposition. To address these limitations, COREA introduces a coarse-to-fine bidirectional 3D-to-3D alignment strategy that allows geometric signals to be learned directly in 3D space. Within this strategy, depth provides coarse alignment between the two representations, while depth gradients and normals refine fine-scale structure, and the resulting geometry supports stable BRDF-lighting decomposition. A density-control mechanism further stabilizes Gaussian growth, balancing geometric fidelity with memory efficiency. Experiments on standard benchmarks demonstrate that COREA achieves superior performance in novel-view synthesis, mesh reconstruction, and PBR within a unified framework.