NeRF-XL : Mise à l'échelle des NeRFs avec plusieurs GPU

NeRF-XL: Scaling NeRFs with Multiple GPUs

April 24, 2024

Auteurs: Ruilong Li, Sanja Fidler, Angjoo Kanazawa, Francis Williams

cs.AI

Résumé

Nous présentons NeRF-XL, une méthode structurée pour distribuer les Champs de Radiance Neuronaux (NeRFs) sur plusieurs GPU, permettant ainsi l'entraînement et le rendu de NeRFs avec une capacité arbitrairement grande. Nous commençons par revisiter les approches multi-GPU existantes, qui décomposent les grandes scènes en plusieurs NeRFs entraînés indépendamment, et identifions plusieurs problèmes fondamentaux avec ces méthodes qui entravent l'amélioration de la qualité de reconstruction lorsque des ressources de calcul supplémentaires (GPU) sont utilisées lors de l'entraînement. NeRF-XL remédie à ces problèmes et permet l'entraînement et le rendu de NeRFs avec un nombre arbitraire de paramètres simplement en utilisant plus de matériel. Au cœur de notre méthode se trouve une nouvelle formulation d'entraînement et de rendu distribués, qui est mathématiquement équivalente au cas classique mono-GPU et minimise la communication entre les GPU. En débloquant les NeRFs avec un nombre de paramètres arbitrairement élevé, notre approche est la première à révéler les lois d'échelle multi-GPU pour les NeRFs, montrant des améliorations dans la qualité de reconstruction avec des nombres de paramètres plus importants et des gains de vitesse avec plus de GPU. Nous démontrons l'efficacité de NeRF-XL sur une grande variété de jeux de données, y compris le plus grand jeu de données open-source à ce jour, MatrixCity, contenant 258K images couvrant une zone urbaine de 25km².

English

We present NeRF-XL, a principled method for distributing Neural Radiance Fields (NeRFs) across multiple GPUs, thus enabling the training and rendering of NeRFs with an arbitrarily large capacity. We begin by revisiting existing multi-GPU approaches, which decompose large scenes into multiple independently trained NeRFs, and identify several fundamental issues with these methods that hinder improvements in reconstruction quality as additional computational resources (GPUs) are used in training. NeRF-XL remedies these issues and enables the training and rendering of NeRFs with an arbitrary number of parameters by simply using more hardware. At the core of our method lies a novel distributed training and rendering formulation, which is mathematically equivalent to the classic single-GPU case and minimizes communication between GPUs. By unlocking NeRFs with arbitrarily large parameter counts, our approach is the first to reveal multi-GPU scaling laws for NeRFs, showing improvements in reconstruction quality with larger parameter counts and speed improvements with more GPUs. We demonstrate the effectiveness of NeRF-XL on a wide variety of datasets, including the largest open-source dataset to date, MatrixCity, containing 258K images covering a 25km^2 city area.