COREA: Выравнивание трехмерных представлений от грубого к точному между перезасвечиваемыми 3D гаусссианами и SDF посредством двунаправленного 3D-к-3D контроля
COREA: Coarse-to-Fine 3D Representation Alignment Between Relightable 3D Gaussians and SDF via Bidirectional 3D-to-3D Supervision
December 8, 2025
Авторы: Jaeyoon Lee, Hojoon Jung, Sungtae Hwang, Jihyong Oh, Jongwon Choi
cs.AI
Аннотация
Мы представляем COREA — первую унифицированную платформу, которая совместно обучает перезасвечиваемые 3D-гаусссианы и поле знаковых расстояний (SDF) для точного восстановления геометрии и достоверного переосвещения. Хотя современные методы расстановки 3D-гаусссианов (3DGS) были расширены в сторону реконструкции мешей и физически-корректного рендеринга (PBR), их геометрия по-прежнему обучается на основе 2D-визуализаций, что приводит к грубым поверхностям и ненадежному разделению BRDF и освещения. Для устранения этих ограничений COREA вводит стратегию сквозного двунаправленного 3D-к-3D выравнивания, которая позволяет обучать геометрические сигналы непосредственно в 3D-пространстве. В рамках этой стратегии глубина обеспечивает грубое выравнивание между двумя представлениями, в то время как градиенты глубины и нормали уточняют мелкомасштабную структуру, а результирующая геометрия поддерживает стабильное разделение BRDF и освещения. Механизм контроля плотности дополнительно стабилизирует рост гаусссианов, балансируя между геометрической точностью и эффективностью использования памяти. Эксперименты на стандартных бенчмарках демонстрируют, что COREA достигает превосходных результатов в синтезе новых видов, реконструкции мешей и PBR в рамках единой платформы.
English
We present COREA, the first unified framework that jointly learns relightable 3D Gaussians and a Signed Distance Field (SDF) for accurate geometry reconstruction and faithful relighting. While recent 3D Gaussian Splatting (3DGS) methods have extended toward mesh reconstruction and physically-based rendering (PBR), their geometry is still learned from 2D renderings, leading to coarse surfaces and unreliable BRDF-lighting decomposition. To address these limitations, COREA introduces a coarse-to-fine bidirectional 3D-to-3D alignment strategy that allows geometric signals to be learned directly in 3D space. Within this strategy, depth provides coarse alignment between the two representations, while depth gradients and normals refine fine-scale structure, and the resulting geometry supports stable BRDF-lighting decomposition. A density-control mechanism further stabilizes Gaussian growth, balancing geometric fidelity with memory efficiency. Experiments on standard benchmarks demonstrate that COREA achieves superior performance in novel-view synthesis, mesh reconstruction, and PBR within a unified framework.