Обучение гетерогенной смеси экспертов по сценам для масштабируемых нейронных полей излучения

Learning Heterogeneous Mixture of Scene Experts for Large-scale Neural Radiance Fields

May 4, 2025

Авторы: Zhenxing Mi, Ping Yin, Xue Xiao, Dan Xu

cs.AI

Аннотация

Недавние методы NeRF для крупномасштабных сцен подчеркнули важность декомпозиции сцены для масштабируемых NeRF. Хотя они достигают разумной масштабируемости, остаются несколько критических проблем, которые пока не исследованы, такие как обучаемая декомпозиция, моделирование неоднородности сцены и эффективность моделирования. В данной статье мы представляем Switch-NeRF++, сеть Heterogeneous Mixture of Hash Experts (HMoHE), которая решает эти задачи в рамках единой структуры. Это высокомасштабируемый NeRF, который эффективно обучает неоднородную декомпозицию и неоднородные NeRF для крупномасштабных сцен в сквозном режиме. В нашей структуре сеть управления обучается декомпозиции сцен и распределяет 3D-точки между специализированными экспертами NeRF. Эта сеть управления совместно оптимизируется с экспертами с помощью предложенной нами структуры Sparsely Gated Mixture of Experts (MoE) NeRF. Мы включаем сеть управления на основе хэширования и различные неоднородные хэш-эксперты. Сеть управления на основе хэширования эффективно обучает декомпозицию крупномасштабной сцены. Различные неоднородные хэш-эксперты состоят из хэш-сеток с различными диапазонами разрешений, что позволяет эффективно обучать неоднородное представление различных частей сцены. Эти проектные решения делают нашу структуру сквозным и высокомасштабируемым решением NeRF для моделирования реальных крупномасштабных сцен, обеспечивая как качество, так и эффективность. Мы оцениваем точность и масштабируемость на существующих наборах данных крупномасштабных NeRF и новом наборе данных с очень крупномасштабными сценами (>6.5 км²) из UrbanBIS. Многочисленные эксперименты демонстрируют, что наш подход легко масштабируется для различных крупномасштабных сцен и достигает передовой точности рендеринга сцен. Кроме того, наш метод демонстрирует значительную эффективность, с ускорением обучения в 8 раз и ускорением рендеринга в 16 раз по сравнению с Switch-NeRF. Код будет доступен по адресу https://github.com/MiZhenxing/Switch-NeRF.

English

Recent NeRF methods on large-scale scenes have underlined the importance of scene decomposition for scalable NeRFs. Although achieving reasonable scalability, there are several critical problems remaining unexplored, i.e., learnable decomposition, modeling scene heterogeneity, and modeling efficiency. In this paper, we introduce Switch-NeRF++, a Heterogeneous Mixture of Hash Experts (HMoHE) network that addresses these challenges within a unified framework. It is a highly scalable NeRF that learns heterogeneous decomposition and heterogeneous NeRFs efficiently for large-scale scenes in an end-to-end manner. In our framework, a gating network learns to decomposes scenes and allocates 3D points to specialized NeRF experts. This gating network is co-optimized with the experts, by our proposed Sparsely Gated Mixture of Experts (MoE) NeRF framework. We incorporate a hash-based gating network and distinct heterogeneous hash experts. The hash-based gating efficiently learns the decomposition of the large-scale scene. The distinct heterogeneous hash experts consist of hash grids of different resolution ranges, enabling effective learning of the heterogeneous representation of different scene parts. These design choices make our framework an end-to-end and highly scalable NeRF solution for real-world large-scale scene modeling to achieve both quality and efficiency. We evaluate our accuracy and scalability on existing large-scale NeRF datasets and a new dataset with very large-scale scenes (>6.5km^2) from UrbanBIS. Extensive experiments demonstrate that our approach can be easily scaled to various large-scale scenes and achieve state-of-the-art scene rendering accuracy. Furthermore, our method exhibits significant efficiency, with an 8x acceleration in training and a 16x acceleration in rendering compared to Switch-NeRF. Codes will be released in https://github.com/MiZhenxing/Switch-NeRF.