大規模ニューラルラジアンスフィールドのための異種シーンエキスパート混合学習

Learning Heterogeneous Mixture of Scene Experts for Large-scale Neural Radiance Fields

May 4, 2025

著者: Zhenxing Mi, Ping Yin, Xue Xiao, Dan Xu

cs.AI

要旨

大規模シーンにおける最近のNeRF手法は、スケーラブルなNeRFのためのシーン分解の重要性を強調している。合理的なスケーラビリティを達成しているものの、学習可能な分解、シーンの異質性のモデリング、およびモデリング効率といったいくつかの重要な問題が未解決のままである。本論文では、これらの課題を統一的なフレームワーク内で解決するHeterogeneous Mixture of Hash Experts (HMoHE)ネットワークであるSwitch-NeRF++を紹介する。これは、大規模シーンに対して異質な分解と異質なNeRFをエンドツーエンドで効率的に学習する、非常にスケーラブルなNeRFである。我々のフレームワークでは、ゲーティングネットワークがシーンを分解し、3Dポイントを専門のNeRFエキスパートに割り当てる。このゲーティングネットワークは、提案するSparsely Gated Mixture of Experts (MoE) NeRFフレームワークによってエキスパートと共に最適化される。ハッシュベースのゲーティングネットワークと異なる異質性を持つハッシュエキスパートを組み込んでいる。ハッシュベースのゲーティングは、大規模シーンの分解を効率的に学習する。異なる異質性を持つハッシュエキスパートは、異なる解像度範囲のハッシュグリッドで構成され、異なるシーンパーツの異質な表現を効果的に学習する。これらの設計選択により、我々のフレームワークは、品質と効率の両方を達成するための現実世界の大規模シーンモデリングに対するエンドツーエンドで非常にスケーラブルなNeRFソリューションとなる。既存の大規模NeRFデータセットとUrbanBISからの非常に大規模なシーン（>6.5km^2）を含む新しいデータセットで、精度とスケーラビリティを評価する。広範な実験により、我々のアプローチが様々な大規模シーンに容易にスケールでき、最先端のシーン描画精度を達成できることが示されている。さらに、我々の手法は、Switch-NeRFと比較して、トレーニングで8倍、レンダリングで16倍の大幅な効率向上を示す。コードはhttps://github.com/MiZhenxing/Switch-NeRFで公開される予定である。

English

Recent NeRF methods on large-scale scenes have underlined the importance of scene decomposition for scalable NeRFs. Although achieving reasonable scalability, there are several critical problems remaining unexplored, i.e., learnable decomposition, modeling scene heterogeneity, and modeling efficiency. In this paper, we introduce Switch-NeRF++, a Heterogeneous Mixture of Hash Experts (HMoHE) network that addresses these challenges within a unified framework. It is a highly scalable NeRF that learns heterogeneous decomposition and heterogeneous NeRFs efficiently for large-scale scenes in an end-to-end manner. In our framework, a gating network learns to decomposes scenes and allocates 3D points to specialized NeRF experts. This gating network is co-optimized with the experts, by our proposed Sparsely Gated Mixture of Experts (MoE) NeRF framework. We incorporate a hash-based gating network and distinct heterogeneous hash experts. The hash-based gating efficiently learns the decomposition of the large-scale scene. The distinct heterogeneous hash experts consist of hash grids of different resolution ranges, enabling effective learning of the heterogeneous representation of different scene parts. These design choices make our framework an end-to-end and highly scalable NeRF solution for real-world large-scale scene modeling to achieve both quality and efficiency. We evaluate our accuracy and scalability on existing large-scale NeRF datasets and a new dataset with very large-scale scenes (>6.5km^2) from UrbanBIS. Extensive experiments demonstrate that our approach can be easily scaled to various large-scale scenes and achieve state-of-the-art scene rendering accuracy. Furthermore, our method exhibits significant efficiency, with an 8x acceleration in training and a 16x acceleration in rendering compared to Switch-NeRF. Codes will be released in https://github.com/MiZhenxing/Switch-NeRF.