COREA: Coarse-to-Fine 3D Representatie-uitlijning tussen Herbelichtbare 3D Gaussians en SDF via Bidirectioneel 3D-naar-3D Toezicht
COREA: Coarse-to-Fine 3D Representation Alignment Between Relightable 3D Gaussians and SDF via Bidirectional 3D-to-3D Supervision
December 8, 2025
Auteurs: Jaeyoon Lee, Hojoon Jung, Sungtae Hwang, Jihyong Oh, Jongwon Choi
cs.AI
Samenvatting
Wij presenteren COREA, het eerste uniforme raamwerk dat gezamenlijk relightbare 3D Gaussians en een Signed Distance Field (SDF) aanleert voor nauwkeurige geometriereconstructie en getrouwe herbelichting. Hoewel recente 3D Gaussian Splatting (3DGS) methoden zijn uitgebreid naar meshreconstructie en fysiek gebaseerd renderen (PBR), wordt hun geometrie nog steeds afgeleid uit 2D-weergaven, wat leidt tot grove oppervlakken en onbetrouwbare BRDF-belichtingsdecompositie. Om deze beperkingen aan te pakken, introduceert COREA een coarse-to-fine bidirectionele 3D-naar-3D-uitlijningsstrategie die ervoor zorgt dat geometrische signalen direct in de 3D-ruimte worden aangeleerd. Binnen deze strategie zorgt diepte voor een grove uitlijning tussen de twee representaties, terwijl dieptegradiënten en normalen de fijnschalige structuur verfijnen. De resulterende geometrie ondersteunt een stabiele BRDF-belichtingsdecompositie. Een dichtheidscontrolemechanisme stabiliseert verder de groei van de Gaussians en balanceert geometrische nauwkeurigheid met geheugenefficiëntie. Experimenten op standaard benchmarks tonen aan dat COREA superieure prestaties levert in novel-view synthesis, meshreconstructie en PBR binnen een uniform raamwerk.
English
We present COREA, the first unified framework that jointly learns relightable 3D Gaussians and a Signed Distance Field (SDF) for accurate geometry reconstruction and faithful relighting. While recent 3D Gaussian Splatting (3DGS) methods have extended toward mesh reconstruction and physically-based rendering (PBR), their geometry is still learned from 2D renderings, leading to coarse surfaces and unreliable BRDF-lighting decomposition. To address these limitations, COREA introduces a coarse-to-fine bidirectional 3D-to-3D alignment strategy that allows geometric signals to be learned directly in 3D space. Within this strategy, depth provides coarse alignment between the two representations, while depth gradients and normals refine fine-scale structure, and the resulting geometry supports stable BRDF-lighting decomposition. A density-control mechanism further stabilizes Gaussian growth, balancing geometric fidelity with memory efficiency. Experiments on standard benchmarks demonstrate that COREA achieves superior performance in novel-view synthesis, mesh reconstruction, and PBR within a unified framework.