COREA: Grob-zu-Fein-3D-Repräsentationsabgleich zwischen neu beleuchtbaren 3D-Gauss-Verfahren und SDF mittels bidirektionaler 3D-zu-3D-Aufsicht
COREA: Coarse-to-Fine 3D Representation Alignment Between Relightable 3D Gaussians and SDF via Bidirectional 3D-to-3D Supervision
December 8, 2025
Autoren: Jaeyoon Lee, Hojoon Jung, Sungtae Hwang, Jihyong Oh, Jongwon Choi
cs.AI
Zusammenfassung
Wir stellen COREA vor, den ersten vereinheitlichten Rahmen, der relightbare 3D-Gaussien und ein Signed Distance Field (SDF) gemeinsam erlernt, um eine präzise Geometrierekonstruktion und authentische Neubeleuchtung zu ermöglichen. Während neuere Methoden auf Basis von 3D Gaussian Splatting (3DGS) sich in Richtung Mesh-Rekonstruktion und physikalisch-basierter Darstellung (PBR) erweitert haben, wird ihre Geometrie nach wie vor aus 2D-Renderings gelernt, was zu groben Oberflächen und unzuverlässiger BRDF-Beleuchtungszerlegung führt. Um diese Einschränkungen zu adressieren, führt COREA eine grob-zu-fein bidirektionale 3D-zu-3D-Abgleichsstrategie ein, die es ermöglicht, geometrische Signale direkt im 3D-Raum zu erlernen. Innerhalb dieser Strategie sorgt die Tiefe für eine grobe Ausrichtung zwischen den beiden Repräsentationen, während Tiefengradienten und Normalen die feinskalige Struktur verfeinern; die resultierende Geometrie unterstützt eine stabile BRDF-Beleuchtungszerlegung. Ein weiterer Dichte-Regelmechanismus stabilisiert das Gauss-Wachstum und balanciert dabei geometrische Treue mit Speichereffizienz. Experimente auf Standard-Benchmarks demonstrieren, dass COREA in einem vereinheitlichten Rahmen eine überlegene Leistung in der Synthese neuartiger Blickwinkel, der Mesh-Rekonstruktion und PBR erzielt.
English
We present COREA, the first unified framework that jointly learns relightable 3D Gaussians and a Signed Distance Field (SDF) for accurate geometry reconstruction and faithful relighting. While recent 3D Gaussian Splatting (3DGS) methods have extended toward mesh reconstruction and physically-based rendering (PBR), their geometry is still learned from 2D renderings, leading to coarse surfaces and unreliable BRDF-lighting decomposition. To address these limitations, COREA introduces a coarse-to-fine bidirectional 3D-to-3D alignment strategy that allows geometric signals to be learned directly in 3D space. Within this strategy, depth provides coarse alignment between the two representations, while depth gradients and normals refine fine-scale structure, and the resulting geometry supports stable BRDF-lighting decomposition. A density-control mechanism further stabilizes Gaussian growth, balancing geometric fidelity with memory efficiency. Experiments on standard benchmarks demonstrate that COREA achieves superior performance in novel-view synthesis, mesh reconstruction, and PBR within a unified framework.