Lernen heterogener Mischungen von Szenenexperten für großskalige neurale Strahlungsfelder

Learning Heterogeneous Mixture of Scene Experts for Large-scale Neural Radiance Fields

May 4, 2025

Autoren: Zhenxing Mi, Ping Yin, Xue Xiao, Dan Xu

cs.AI

Zusammenfassung

Aktuelle NeRF-Methoden für großflächige Szenen haben die Bedeutung der Szenenzerlegung für skalierbare NeRFs hervorgehoben. Obwohl eine vernünftige Skalierbarkeit erreicht wird, bleiben mehrere kritische Probleme unerforscht, wie z. B. lernbare Zerlegung, Modellierung der Szenenheterogenität und Modellierungseffizienz. In diesem Artikel stellen wir Switch-NeRF++ vor, ein Netzwerk aus heterogenen Hash-Experten (HMoHE), das diese Herausforderungen in einem einheitlichen Rahmenwerk adressiert. Es handelt sich um ein hochskalierbares NeRF, das heterogene Zerlegungen und heterogene NeRFs effizient für großflächige Szenen auf end-to-end Weise lernt. In unserem Rahmenwerk lernt ein Gating-Netzwerk, Szenen zu zerlegen und 3D-Punkte spezialisierten NeRF-Experten zuzuweisen. Dieses Gating-Netzwerk wird gemeinsam mit den Experten durch unser vorgeschlagenes Framework für spärlich gated Mixture of Experts (MoE) NeRF optimiert. Wir integrieren ein hash-basiertes Gating-Netzwerk und verschiedene heterogene Hash-Experten. Das hash-basierte Gating lernt effizient die Zerlegung der großflächigen Szene. Die verschiedenen heterogenen Hash-Experten bestehen aus Hash-Gittern mit unterschiedlichen Auflösungsbereichen, was ein effektives Lernen der heterogenen Darstellung verschiedener Szenenteile ermöglicht. Diese Designentscheidungen machen unser Framework zu einer end-to-end und hochskalierbaren NeRF-Lösung für die Modellierung realer großflächiger Szenen, um sowohl Qualität als auch Effizienz zu erreichen. Wir bewerten unsere Genauigkeit und Skalierbarkeit anhand bestehender großflächiger NeRF-Datensätze und eines neuen Datensatzes mit sehr großflächigen Szenen (>6,5 km²) aus UrbanBIS. Umfangreiche Experimente zeigen, dass unser Ansatz leicht auf verschiedene großflächige Szenen skaliert werden kann und die state-of-the-art Genauigkeit bei der Szenendarstellung erreicht. Darüber hinaus weist unsere Methode eine signifikante Effizienz auf, mit einer 8-fachen Beschleunigung im Training und einer 16-fachen Beschleunigung im Rendering im Vergleich zu Switch-NeRF. Die Codes werden unter https://github.com/MiZhenxing/Switch-NeRF veröffentlicht.

English

Recent NeRF methods on large-scale scenes have underlined the importance of scene decomposition for scalable NeRFs. Although achieving reasonable scalability, there are several critical problems remaining unexplored, i.e., learnable decomposition, modeling scene heterogeneity, and modeling efficiency. In this paper, we introduce Switch-NeRF++, a Heterogeneous Mixture of Hash Experts (HMoHE) network that addresses these challenges within a unified framework. It is a highly scalable NeRF that learns heterogeneous decomposition and heterogeneous NeRFs efficiently for large-scale scenes in an end-to-end manner. In our framework, a gating network learns to decomposes scenes and allocates 3D points to specialized NeRF experts. This gating network is co-optimized with the experts, by our proposed Sparsely Gated Mixture of Experts (MoE) NeRF framework. We incorporate a hash-based gating network and distinct heterogeneous hash experts. The hash-based gating efficiently learns the decomposition of the large-scale scene. The distinct heterogeneous hash experts consist of hash grids of different resolution ranges, enabling effective learning of the heterogeneous representation of different scene parts. These design choices make our framework an end-to-end and highly scalable NeRF solution for real-world large-scale scene modeling to achieve both quality and efficiency. We evaluate our accuracy and scalability on existing large-scale NeRF datasets and a new dataset with very large-scale scenes (>6.5km^2) from UrbanBIS. Extensive experiments demonstrate that our approach can be easily scaled to various large-scale scenes and achieve state-of-the-art scene rendering accuracy. Furthermore, our method exhibits significant efficiency, with an 8x acceleration in training and a 16x acceleration in rendering compared to Switch-NeRF. Codes will be released in https://github.com/MiZhenxing/Switch-NeRF.