COREA: Alinhamento de Representação 3D de Grosseiro a Refinado entre Gaussianos 3D Reilumináveis e SDF via Supervisão Bidirecional 3D-para-3D

COREA: Coarse-to-Fine 3D Representation Alignment Between Relightable 3D Gaussians and SDF via Bidirectional 3D-to-3D Supervision

December 8, 2025

Autores: Jaeyoon Lee, Hojoon Jung, Sungtae Hwang, Jihyong Oh, Jongwon Choi

cs.AI

Resumo

Apresentamos o COREA, o primeiro framework unificado que aprende conjuntamente Gaussianas 3D rerilumináveis e um Campo de Distância com Sinal (SDF) para uma reconstrução geométrica precisa e uma reriluminação fiel. Embora os métodos recentes de *Gaussian Splatting* 3D (3DGS) tenham se estendido para a reconstrução de malhas e renderização fisicamente baseada (PBR), sua geometria ainda é aprendida a partir de renderizações 2D, resultando em superfícies grosseiras e uma decomposição BRDF-iluminação pouco confiável. Para superar essas limitações, o COREA introduz uma estratégia de alinhamento bidirecional 3D-para-3D, do grosso para o fino, que permite que os sinais geométricos sejam aprendidos diretamente no espaço 3D. Dentro desta estratégia, a profundidade fornece um alinhamento grosso entre as duas representações, enquanto os gradientes de profundidade e as normais refinam a estrutura em escala fina, e a geometria resultante suporta uma decomposição BRDF-iluminação estável. Um mecanismo de controle de densidade estabiliza ainda mais o crescimento das Gaussianas, equilibrando a fidelidade geométrica com a eficiência de memória. Experimentos em benchmarks padrão demonstram que o COREA atua de forma superior na síntese de novas visões, reconstrução de malhas e PBR dentro de um framework unificado.

English

We present COREA, the first unified framework that jointly learns relightable 3D Gaussians and a Signed Distance Field (SDF) for accurate geometry reconstruction and faithful relighting. While recent 3D Gaussian Splatting (3DGS) methods have extended toward mesh reconstruction and physically-based rendering (PBR), their geometry is still learned from 2D renderings, leading to coarse surfaces and unreliable BRDF-lighting decomposition. To address these limitations, COREA introduces a coarse-to-fine bidirectional 3D-to-3D alignment strategy that allows geometric signals to be learned directly in 3D space. Within this strategy, depth provides coarse alignment between the two representations, while depth gradients and normals refine fine-scale structure, and the resulting geometry supports stable BRDF-lighting decomposition. A density-control mechanism further stabilizes Gaussian growth, balancing geometric fidelity with memory efficiency. Experiments on standard benchmarks demonstrate that COREA achieves superior performance in novel-view synthesis, mesh reconstruction, and PBR within a unified framework.