NeRF-XL: Escalonando NeRFs com Múltiplas GPUs

NeRF-XL: Scaling NeRFs with Multiple GPUs

April 24, 2024

Autores: Ruilong Li, Sanja Fidler, Angjoo Kanazawa, Francis Williams

cs.AI

Resumo

Apresentamos o NeRF-XL, um método fundamentado para distribuir Campos de Radiação Neural (NeRFs) em múltiplas GPUs, permitindo assim o treinamento e renderização de NeRFs com capacidade arbitrariamente grande. Começamos revisitando abordagens existentes de multi-GPU, que decompõem cenas grandes em múltiplos NeRFs treinados de forma independente, e identificamos vários problemas fundamentais nesses métodos que impedem melhorias na qualidade de reconstrução à medida que recursos computacionais adicionais (GPUs) são utilizados no treinamento. O NeRF-XL resolve esses problemas e permite o treinamento e renderização de NeRFs com um número arbitrário de parâmetros simplesmente utilizando mais hardware. No cerne do nosso método está uma nova formulação de treinamento e renderização distribuída, que é matematicamente equivalente ao caso clássico de GPU única e minimiza a comunicação entre as GPUs. Ao desbloquear NeRFs com contagens de parâmetros arbitrariamente grandes, nossa abordagem é a primeira a revelar leis de escalabilidade de multi-GPU para NeRFs, mostrando melhorias na qualidade de reconstrução com contagens maiores de parâmetros e ganhos de velocidade com mais GPUs. Demonstramos a eficácia do NeRF-XL em uma ampla variedade de conjuntos de dados, incluindo o maior conjunto de dados de código aberto até o momento, o MatrixCity, que contém 258 mil imagens cobrindo uma área de 25 km² de uma cidade.

English

We present NeRF-XL, a principled method for distributing Neural Radiance Fields (NeRFs) across multiple GPUs, thus enabling the training and rendering of NeRFs with an arbitrarily large capacity. We begin by revisiting existing multi-GPU approaches, which decompose large scenes into multiple independently trained NeRFs, and identify several fundamental issues with these methods that hinder improvements in reconstruction quality as additional computational resources (GPUs) are used in training. NeRF-XL remedies these issues and enables the training and rendering of NeRFs with an arbitrary number of parameters by simply using more hardware. At the core of our method lies a novel distributed training and rendering formulation, which is mathematically equivalent to the classic single-GPU case and minimizes communication between GPUs. By unlocking NeRFs with arbitrarily large parameter counts, our approach is the first to reveal multi-GPU scaling laws for NeRFs, showing improvements in reconstruction quality with larger parameter counts and speed improvements with more GPUs. We demonstrate the effectiveness of NeRF-XL on a wide variety of datasets, including the largest open-source dataset to date, MatrixCity, containing 258K images covering a 25km^2 city area.