Apprentissage d'un mélange hétérogène d'experts de scène pour les champs de rayonnement neuronaux à grande échelle

Learning Heterogeneous Mixture of Scene Experts for Large-scale Neural Radiance Fields

May 4, 2025

Auteurs: Zhenxing Mi, Ping Yin, Xue Xiao, Dan Xu

cs.AI

Résumé

Les méthodes récentes de NeRF pour les scènes à grande échelle ont souligné l'importance de la décomposition de scène pour des NeRF évolutifs. Bien qu'elles atteignent une évolutivité raisonnable, plusieurs problèmes critiques restent inexplorés, notamment la décomposition apprenable, la modélisation de l'hétérogénéité des scènes et l'efficacité de la modélisation. Dans cet article, nous présentons Switch-NeRF++, un réseau de Mélange Hétérogène d'Experts par Hachage (HMoHE) qui aborde ces défis dans un cadre unifié. Il s'agit d'un NeRF hautement évolutif qui apprend efficacement la décomposition hétérogène et les NeRF hétérogènes pour les scènes à grande échelle de manière end-to-end. Dans notre cadre, un réseau de gating apprend à décomposer les scènes et à allouer des points 3D à des experts NeRF spécialisés. Ce réseau de gating est co-optimisé avec les experts, grâce à notre cadre proposé de Mélange d'Experts à Gating Sparse (MoE) NeRF. Nous intégrons un réseau de gating basé sur le hachage et des experts hétérogènes distincts basés sur le hachage. Le gating basé sur le hachage apprend efficacement la décomposition de la scène à grande échelle. Les experts hétérogènes distincts basés sur le hachage consistent en des grilles de hachage de différentes plages de résolution, permettant un apprentissage efficace de la représentation hétérogène des différentes parties de la scène. Ces choix de conception font de notre cadre une solution NeRF end-to-end et hautement évolutive pour la modélisation de scènes à grande échelle dans le monde réel, atteignant à la fois qualité et efficacité. Nous évaluons notre précision et évolutivité sur des ensembles de données NeRF à grande échelle existants et un nouvel ensemble de données avec des scènes de très grande échelle (>6,5 km²) provenant d'UrbanBIS. Des expériences approfondies démontrent que notre approche peut être facilement étendue à diverses scènes à grande échelle et atteindre une précision de rendu de scène de pointe. De plus, notre méthode présente une efficacité significative, avec une accélération de 8x en entraînement et de 16x en rendu par rapport à Switch-NeRF. Les codes seront disponibles sur https://github.com/MiZhenxing/Switch-NeRF.

English

Recent NeRF methods on large-scale scenes have underlined the importance of scene decomposition for scalable NeRFs. Although achieving reasonable scalability, there are several critical problems remaining unexplored, i.e., learnable decomposition, modeling scene heterogeneity, and modeling efficiency. In this paper, we introduce Switch-NeRF++, a Heterogeneous Mixture of Hash Experts (HMoHE) network that addresses these challenges within a unified framework. It is a highly scalable NeRF that learns heterogeneous decomposition and heterogeneous NeRFs efficiently for large-scale scenes in an end-to-end manner. In our framework, a gating network learns to decomposes scenes and allocates 3D points to specialized NeRF experts. This gating network is co-optimized with the experts, by our proposed Sparsely Gated Mixture of Experts (MoE) NeRF framework. We incorporate a hash-based gating network and distinct heterogeneous hash experts. The hash-based gating efficiently learns the decomposition of the large-scale scene. The distinct heterogeneous hash experts consist of hash grids of different resolution ranges, enabling effective learning of the heterogeneous representation of different scene parts. These design choices make our framework an end-to-end and highly scalable NeRF solution for real-world large-scale scene modeling to achieve both quality and efficiency. We evaluate our accuracy and scalability on existing large-scale NeRF datasets and a new dataset with very large-scale scenes (>6.5km^2) from UrbanBIS. Extensive experiments demonstrate that our approach can be easily scaled to various large-scale scenes and achieve state-of-the-art scene rendering accuracy. Furthermore, our method exhibits significant efficiency, with an 8x acceleration in training and a 16x acceleration in rendering compared to Switch-NeRF. Codes will be released in https://github.com/MiZhenxing/Switch-NeRF.