Aprendizaje de una Mezcla Heterogénea de Expertos en Escenas para Campos de Radiación Neural a Gran Escala

Learning Heterogeneous Mixture of Scene Experts for Large-scale Neural Radiance Fields

May 4, 2025

Autores: Zhenxing Mi, Ping Yin, Xue Xiao, Dan Xu

cs.AI

Resumen

Los métodos recientes de NeRF en escenas a gran escala han subrayado la importancia de la descomposición de escenas para NeRFs escalables. Aunque se ha logrado una escalabilidad razonable, quedan varios problemas críticos sin explorar, como la descomposición aprendible, el modelado de la heterogeneidad de la escena y la eficiencia en el modelado. En este artículo, presentamos Switch-NeRF++, una red de Mezcla Heterogénea de Expertos con Hash (HMoHE) que aborda estos desafíos dentro de un marco unificado. Es un NeRF altamente escalable que aprende la descomposición heterogénea y los NeRFs heterogéneos de manera eficiente para escenas a gran escala de forma end-to-end. En nuestro marco, una red de compuertas aprende a descomponer las escenas y asigna puntos 3D a expertos NeRF especializados. Esta red de compuertas se co-optimiza con los expertos, mediante nuestro marco propuesto de Mezcla de Expertos con Compuertas Dispersas (MoE) NeRF. Incorporamos una red de compuertas basada en hash y expertos de hash heterogéneos distintos. La red de compuertas basada en hash aprende eficientemente la descomposición de la escena a gran escala. Los expertos de hash heterogéneos distintos consisten en mallas de hash con diferentes rangos de resolución, lo que permite un aprendizaje efectivo de la representación heterogénea de diferentes partes de la escena. Estas decisiones de diseño hacen que nuestro marco sea una solución NeRF end-to-end y altamente escalable para el modelado de escenas a gran escala del mundo real, logrando tanto calidad como eficiencia. Evaluamos nuestra precisión y escalabilidad en conjuntos de datos existentes de NeRF a gran escala y en un nuevo conjunto de datos con escenas de muy gran escala (>6.5 km^2) de UrbanBIS. Experimentos extensivos demuestran que nuestro enfoque puede escalarse fácilmente a diversas escenas a gran escala y lograr una precisión de renderizado de escenas de vanguardia. Además, nuestro método exhibe una eficiencia significativa, con una aceleración de 8x en el entrenamiento y una aceleración de 16x en el renderizado en comparación con Switch-NeRF. Los códigos se publicarán en https://github.com/MiZhenxing/Switch-NeRF.

English

Recent NeRF methods on large-scale scenes have underlined the importance of scene decomposition for scalable NeRFs. Although achieving reasonable scalability, there are several critical problems remaining unexplored, i.e., learnable decomposition, modeling scene heterogeneity, and modeling efficiency. In this paper, we introduce Switch-NeRF++, a Heterogeneous Mixture of Hash Experts (HMoHE) network that addresses these challenges within a unified framework. It is a highly scalable NeRF that learns heterogeneous decomposition and heterogeneous NeRFs efficiently for large-scale scenes in an end-to-end manner. In our framework, a gating network learns to decomposes scenes and allocates 3D points to specialized NeRF experts. This gating network is co-optimized with the experts, by our proposed Sparsely Gated Mixture of Experts (MoE) NeRF framework. We incorporate a hash-based gating network and distinct heterogeneous hash experts. The hash-based gating efficiently learns the decomposition of the large-scale scene. The distinct heterogeneous hash experts consist of hash grids of different resolution ranges, enabling effective learning of the heterogeneous representation of different scene parts. These design choices make our framework an end-to-end and highly scalable NeRF solution for real-world large-scale scene modeling to achieve both quality and efficiency. We evaluate our accuracy and scalability on existing large-scale NeRF datasets and a new dataset with very large-scale scenes (>6.5km^2) from UrbanBIS. Extensive experiments demonstrate that our approach can be easily scaled to various large-scale scenes and achieve state-of-the-art scene rendering accuracy. Furthermore, our method exhibits significant efficiency, with an 8x acceleration in training and a 16x acceleration in rendering compared to Switch-NeRF. Codes will be released in https://github.com/MiZhenxing/Switch-NeRF.