NeRF является ценным помощником для 3D-гауссовского сплайтинга.

NeRF Is a Valuable Assistant for 3D Gaussian Splatting

July 31, 2025

Авторы: Shuangkang Fang, I-Chao Shen, Takeo Igarashi, Yufeng Wang, ZeSheng Wang, Yi Yang, Wenrui Ding, Shuchang Zhou

cs.AI

Аннотация

Мы представляем NeRF-GS, новый фреймворк, который совместно оптимизирует Нейронные Поля Излучения (NeRF) и 3D Гауссово Размытие (3DGS). Этот фреймворк использует присущее NeRF непрерывное пространственное представление для смягчения нескольких ограничений 3DGS, включая чувствительность к инициализации Гауссовых функций, ограниченную пространственную осведомленность и слабые корреляции между Гауссовыми функциями, тем самым повышая его производительность. В NeRF-GS мы пересматриваем дизайн 3DGS и постепенно выравниваем его пространственные характеристики с NeRF, позволяя обоим представлениям оптимизироваться в рамках одной сцены через общую 3D пространственную информацию. Мы также устраняем формальные различия между двумя подходами, оптимизируя остаточные векторы как для неявных признаков, так и для позиций Гауссовых функций, чтобы усилить персонализированные возможности 3DGS. Экспериментальные результаты на эталонных наборах данных показывают, что NeRF-GS превосходит существующие методы и достигает наилучших показателей. Этот результат подтверждает, что NeRF и 3DGS являются взаимодополняющими, а не конкурирующими, предлагая новые идеи для гибридных подходов, сочетающих 3DGS и NeRF для эффективного представления 3D сцен.

English

We introduce NeRF-GS, a novel framework that jointly optimizes Neural Radiance Fields (NeRF) and 3D Gaussian Splatting (3DGS). This framework leverages the inherent continuous spatial representation of NeRF to mitigate several limitations of 3DGS, including sensitivity to Gaussian initialization, limited spatial awareness, and weak inter-Gaussian correlations, thereby enhancing its performance. In NeRF-GS, we revisit the design of 3DGS and progressively align its spatial features with NeRF, enabling both representations to be optimized within the same scene through shared 3D spatial information. We further address the formal distinctions between the two approaches by optimizing residual vectors for both implicit features and Gaussian positions to enhance the personalized capabilities of 3DGS. Experimental results on benchmark datasets show that NeRF-GS surpasses existing methods and achieves state-of-the-art performance. This outcome confirms that NeRF and 3DGS are complementary rather than competing, offering new insights into hybrid approaches that combine 3DGS and NeRF for efficient 3D scene representation.