NeRF-XL: Scalabilità delle NeRF con più GPU

Abstract

Presentiamo NeRF-XL, un metodo strutturato per distribuire i Campi di Radianza Neurale (NeRF) su più GPU, consentendo così l'addestramento e il rendering di NeRF con una capacità arbitrariamente grande. Iniziamo riesaminando gli approcci multi-GPU esistenti, che scompongono scene di grandi dimensioni in più NeRF addestrati in modo indipendente, e identifichiamo diversi problemi fondamentali di questi metodi che ostacolano il miglioramento della qualità della ricostruzione man mano che vengono utilizzate risorse computazionali aggiuntive (GPU) durante l'addestramento. NeRF-XL risolve questi problemi e permette l'addestramento e il rendering di NeRF con un numero arbitrario di parametri semplicemente utilizzando più hardware. Al centro del nostro metodo si trova una nuova formulazione di addestramento e rendering distribuito, che è matematicamente equivalente al classico caso single-GPU e minimizza la comunicazione tra le GPU. Sbloccando NeRF con un numero di parametri arbitrariamente grande, il nostro approccio è il primo a rivelare le leggi di scalabilità multi-GPU per i NeRF, mostrando miglioramenti nella qualità della ricostruzione con un numero maggiore di parametri e miglioramenti nella velocità con più GPU. Dimostriamo l'efficacia di NeRF-XL su una vasta gamma di dataset, incluso il più grande dataset open-source fino ad oggi, MatrixCity, contenente 258K immagini che coprono un'area cittadina di 25km².

English

We present NeRF-XL, a principled method for distributing Neural Radiance Fields (NeRFs) across multiple GPUs, thus enabling the training and rendering of NeRFs with an arbitrarily large capacity. We begin by revisiting existing multi-GPU approaches, which decompose large scenes into multiple independently trained NeRFs, and identify several fundamental issues with these methods that hinder improvements in reconstruction quality as additional computational resources (GPUs) are used in training. NeRF-XL remedies these issues and enables the training and rendering of NeRFs with an arbitrary number of parameters by simply using more hardware. At the core of our method lies a novel distributed training and rendering formulation, which is mathematically equivalent to the classic single-GPU case and minimizes communication between GPUs. By unlocking NeRFs with arbitrarily large parameter counts, our approach is the first to reveal multi-GPU scaling laws for NeRFs, showing improvements in reconstruction quality with larger parameter counts and speed improvements with more GPUs. We demonstrate the effectiveness of NeRF-XL on a wide variety of datasets, including the largest open-source dataset to date, MatrixCity, containing 258K images covering a 25km^2 city area.

NeRF-XL: Scalabilità delle NeRF con più GPU

NeRF-XL: Scaling NeRFs with Multiple GPUs

Abstract

Support