COREA: 再照明可能な3DガウシアンとSDF間の双方向3D-to-3D監視による粗から細への3D表現アライメント

要旨

我々はCOREAを提案する。これは、再照明可能な3Dガウシアンと符号付き距離場（SDF）を共同で学習し、正確なジオメトリ再構築と忠実な再照明を実現する初の統一フレームワークである。近年の3Dガウシアンスプラッティング（3DGS）手法はメッシュ再構築や物理ベースレンダリング（PBR）への拡張が進んでいるが、それらのジオメトリは依然として2Dレンダリングから学習されるため、粗い表面信頼性の低いBRDF-照明分解という課題を抱えている。これらの制約を解決するため、COREAは3D空間で直接幾何学的信号を学習可能にする、粗密両方向の3D-to-3Dアライメント戦略を導入する。この戦略では、深度が2つの表現間の大まかなアライメントを提供し、深度勾配と法線が微細な構造を洗練させる。結果として得られるジオメトリは安定したBRDF-照明分解を支援する。さらに密度制御メカニズムがガウシアンの成長を安定化し、幾何学的忠実度とメモリ効率のバランスを取る。標準ベンチマークによる実験では、COREAが統一フレームワーク内で新規視点合成、メッシュ再構築、PBRにおいて優れた性能を達成することを実証している。

English

We present COREA, the first unified framework that jointly learns relightable 3D Gaussians and a Signed Distance Field (SDF) for accurate geometry reconstruction and faithful relighting. While recent 3D Gaussian Splatting (3DGS) methods have extended toward mesh reconstruction and physically-based rendering (PBR), their geometry is still learned from 2D renderings, leading to coarse surfaces and unreliable BRDF-lighting decomposition. To address these limitations, COREA introduces a coarse-to-fine bidirectional 3D-to-3D alignment strategy that allows geometric signals to be learned directly in 3D space. Within this strategy, depth provides coarse alignment between the two representations, while depth gradients and normals refine fine-scale structure, and the resulting geometry supports stable BRDF-lighting decomposition. A density-control mechanism further stabilizes Gaussian growth, balancing geometric fidelity with memory efficiency. Experiments on standard benchmarks demonstrate that COREA achieves superior performance in novel-view synthesis, mesh reconstruction, and PBR within a unified framework.

COREA: 再照明可能な3DガウシアンとSDF間の双方向3D-to-3D監視による粗から細への3D表現アライメント

COREA: Coarse-to-Fine 3D Representation Alignment Between Relightable 3D Gaussians and SDF via Bidirectional 3D-to-3D Supervision

要旨

Support