대규모 신경 방사 필드를 위한 이질적 장면 전문가 혼합 학습

Learning Heterogeneous Mixture of Scene Experts for Large-scale Neural Radiance Fields

May 4, 2025

저자: Zhenxing Mi, Ping Yin, Xue Xiao, Dan Xu

cs.AI

초록

최근 대규모 장면에서의 NeRF(Neural Radiance Fields) 방법론은 확장 가능한 NeRF를 위한 장면 분해의 중요성을 강조해 왔다. 합리적인 확장성을 달성했음에도 불구하고, 학습 가능한 분해, 장면 이질성 모델링, 모델링 효율성과 같은 몇 가지 중요한 문제들이 여전히 탐구되지 않고 있다. 본 논문에서는 이러한 문제들을 통합된 프레임워크 내에서 해결하는 Heterogeneous Mixture of Hash Experts(HMoHE) 네트워크인 Switch-NeRF++를 소개한다. 이는 대규모 장면을 위해 이질적인 분해와 이질적인 NeRF를 효율적으로 학습하는 고도로 확장 가능한 NeRF이다. 우리의 프레임워크에서는 게이팅 네트워크가 장면을 분해하고 3D 포인트를 특화된 NeRF 전문가들에게 할당하는 방법을 학습한다. 이 게이팅 네트워크는 우리가 제안한 Sparsely Gated Mixture of Experts(MoE) NeRF 프레임워크를 통해 전문가들과 함께 공동 최적화된다. 우리는 해시 기반 게이팅 네트워크와 구별되는 이질적인 해시 전문가들을 통합하였다. 해시 기반 게이팅은 대규모 장면의 분해를 효율적으로 학습한다. 구별되는 이질적인 해시 전문가들은 다양한 해상도 범위의 해시 그리드로 구성되어, 서로 다른 장면 부분들의 이질적인 표현을 효과적으로 학습할 수 있게 한다. 이러한 설계 선택은 우리의 프레임워크를 실세계 대규모 장면 모델링을 위한 품질과 효율성을 모두 달성하는 종단 간 고도로 확장 가능한 NeRF 솔루션으로 만든다. 우리는 기존의 대규모 NeRF 데이터셋과 UrbanBIS에서 제공된 매우 대규모 장면(>6.5km^2)을 포함한 새로운 데이터셋에서 정확성과 확장성을 평가한다. 광범위한 실험을 통해 우리의 접근 방식이 다양한 대규모 장면으로 쉽게 확장될 수 있으며, 최신의 장면 렌더링 정확도를 달성할 수 있음을 입증한다. 더 나아가, 우리의 방법은 Switch-NeRF 대비 학습에서 8배, 렌더링에서 16배의 가속화를 보이며 상당한 효율성을 보인다. 코드는 https://github.com/MiZhenxing/Switch-NeRF에서 공개될 예정이다.

English

Recent NeRF methods on large-scale scenes have underlined the importance of scene decomposition for scalable NeRFs. Although achieving reasonable scalability, there are several critical problems remaining unexplored, i.e., learnable decomposition, modeling scene heterogeneity, and modeling efficiency. In this paper, we introduce Switch-NeRF++, a Heterogeneous Mixture of Hash Experts (HMoHE) network that addresses these challenges within a unified framework. It is a highly scalable NeRF that learns heterogeneous decomposition and heterogeneous NeRFs efficiently for large-scale scenes in an end-to-end manner. In our framework, a gating network learns to decomposes scenes and allocates 3D points to specialized NeRF experts. This gating network is co-optimized with the experts, by our proposed Sparsely Gated Mixture of Experts (MoE) NeRF framework. We incorporate a hash-based gating network and distinct heterogeneous hash experts. The hash-based gating efficiently learns the decomposition of the large-scale scene. The distinct heterogeneous hash experts consist of hash grids of different resolution ranges, enabling effective learning of the heterogeneous representation of different scene parts. These design choices make our framework an end-to-end and highly scalable NeRF solution for real-world large-scale scene modeling to achieve both quality and efficiency. We evaluate our accuracy and scalability on existing large-scale NeRF datasets and a new dataset with very large-scale scenes (>6.5km^2) from UrbanBIS. Extensive experiments demonstrate that our approach can be easily scaled to various large-scale scenes and achieve state-of-the-art scene rendering accuracy. Furthermore, our method exhibits significant efficiency, with an 8x acceleration in training and a 16x acceleration in rendering compared to Switch-NeRF. Codes will be released in https://github.com/MiZhenxing/Switch-NeRF.