Het leren van een heterogeen mengsel van scène-experts voor grootschalige neurale stralingsvelden

Learning Heterogeneous Mixture of Scene Experts for Large-scale Neural Radiance Fields

May 4, 2025

Auteurs: Zhenxing Mi, Ping Yin, Xue Xiao, Dan Xu

cs.AI

Samenvatting

Recente NeRF-methoden voor grootschalige scènes hebben het belang van scène-decompositie voor schaalbare NeRF's benadrukt. Hoewel redelijke schaalbaarheid wordt bereikt, blijven er verschillende kritieke problemen onontgonnen, zoals leerbare decompositie, het modelleren van scène-heterogeniteit en modellerings-efficiëntie. In dit artikel introduceren we Switch-NeRF++, een Heterogeneous Mixture of Hash Experts (HMoHE)-netwerk dat deze uitdagingen aanpakt binnen een uniform raamwerk. Het is een zeer schaalbare NeRF die heterogene decompositie en heterogene NeRF's efficiënt leert voor grootschalige scènes op een end-to-end manier. In ons raamwerk leert een gating-netwerk scènes te decomposeren en 3D-punten toe te wijzen aan gespecialiseerde NeRF-experts. Dit gating-netwerk wordt geoptimaliseerd samen met de experts, door ons voorgestelde Sparsely Gated Mixture of Experts (MoE) NeRF-raamwerk. We integreren een hash-gebaseerd gating-netwerk en verschillende heterogene hash-experts. Het hash-gebaseerde gating leert efficiënt de decompositie van de grootschalige scène. De verschillende heterogene hash-experts bestaan uit hash-grids met verschillende resolutiebereiken, waardoor effectief leren van de heterogene representatie van verschillende scène-onderdelen mogelijk wordt. Deze ontwerpkeuzes maken ons raamwerk een end-to-end en zeer schaalbare NeRF- oplossing voor het modelleren van realistische grootschalige scènes om zowel kwaliteit als efficiëntie te bereiken. We evalueren onze nauwkeurigheid en schaalbaarheid op bestaande grootschalige NeRF-datasets en een nieuwe dataset met zeer grootschalige scènes (>6,5 km^2) van UrbanBIS. Uitgebreide experimenten tonen aan dat onze aanpak eenvoudig kan worden geschaald naar verschillende grootschalige scènes en state-of-the-art scène-rendering nauwkeurigheid bereikt. Bovendien toont onze methode aanzienlijke efficiëntie, met een 8x versnelling in training en een 16x versnelling in rendering vergeleken met Switch-NeRF. Codes zullen worden vrijgegeven op https://github.com/MiZhenxing/Switch-NeRF.

English

Recent NeRF methods on large-scale scenes have underlined the importance of scene decomposition for scalable NeRFs. Although achieving reasonable scalability, there are several critical problems remaining unexplored, i.e., learnable decomposition, modeling scene heterogeneity, and modeling efficiency. In this paper, we introduce Switch-NeRF++, a Heterogeneous Mixture of Hash Experts (HMoHE) network that addresses these challenges within a unified framework. It is a highly scalable NeRF that learns heterogeneous decomposition and heterogeneous NeRFs efficiently for large-scale scenes in an end-to-end manner. In our framework, a gating network learns to decomposes scenes and allocates 3D points to specialized NeRF experts. This gating network is co-optimized with the experts, by our proposed Sparsely Gated Mixture of Experts (MoE) NeRF framework. We incorporate a hash-based gating network and distinct heterogeneous hash experts. The hash-based gating efficiently learns the decomposition of the large-scale scene. The distinct heterogeneous hash experts consist of hash grids of different resolution ranges, enabling effective learning of the heterogeneous representation of different scene parts. These design choices make our framework an end-to-end and highly scalable NeRF solution for real-world large-scale scene modeling to achieve both quality and efficiency. We evaluate our accuracy and scalability on existing large-scale NeRF datasets and a new dataset with very large-scale scenes (>6.5km^2) from UrbanBIS. Extensive experiments demonstrate that our approach can be easily scaled to various large-scale scenes and achieve state-of-the-art scene rendering accuracy. Furthermore, our method exhibits significant efficiency, with an 8x acceleration in training and a 16x acceleration in rendering compared to Switch-NeRF. Codes will be released in https://github.com/MiZhenxing/Switch-NeRF.