NeRF-XL: Escalando NeRFs con múltiples GPUs

NeRF-XL: Scaling NeRFs with Multiple GPUs

April 24, 2024

Autores: Ruilong Li, Sanja Fidler, Angjoo Kanazawa, Francis Williams

cs.AI

Resumen

Presentamos NeRF-XL, un método fundamentado para distribuir Campos de Radiancia Neural (NeRFs) en múltiples GPUs, permitiendo así el entrenamiento y renderizado de NeRFs con una capacidad arbitrariamente grande. Comenzamos revisando los enfoques existentes de múltiples GPUs, que descomponen escenas grandes en múltiples NeRFs entrenados de manera independiente, e identificamos varios problemas fundamentales en estos métodos que dificultan las mejoras en la calidad de la reconstrucción a medida que se utilizan más recursos computacionales (GPUs) durante el entrenamiento. NeRF-XL soluciona estos problemas y permite el entrenamiento y renderizado de NeRFs con un número arbitrario de parámetros simplemente utilizando más hardware. En el núcleo de nuestro método se encuentra una formulación novedosa de entrenamiento y renderizado distribuido, que es matemáticamente equivalente al caso clásico de una sola GPU y minimiza la comunicación entre GPUs. Al desbloquear NeRFs con recuentos de parámetros arbitrariamente grandes, nuestro enfoque es el primero en revelar las leyes de escalado de múltiples GPUs para NeRFs, mostrando mejoras en la calidad de la reconstrucción con recuentos de parámetros más grandes y mejoras de velocidad con más GPUs. Demostramos la efectividad de NeRF-XL en una amplia variedad de conjuntos de datos, incluyendo el conjunto de datos de código abierto más grande hasta la fecha, MatrixCity, que contiene 258K imágenes cubriendo un área de 25km² de una ciudad.

English

We present NeRF-XL, a principled method for distributing Neural Radiance Fields (NeRFs) across multiple GPUs, thus enabling the training and rendering of NeRFs with an arbitrarily large capacity. We begin by revisiting existing multi-GPU approaches, which decompose large scenes into multiple independently trained NeRFs, and identify several fundamental issues with these methods that hinder improvements in reconstruction quality as additional computational resources (GPUs) are used in training. NeRF-XL remedies these issues and enables the training and rendering of NeRFs with an arbitrary number of parameters by simply using more hardware. At the core of our method lies a novel distributed training and rendering formulation, which is mathematically equivalent to the classic single-GPU case and minimizes communication between GPUs. By unlocking NeRFs with arbitrarily large parameter counts, our approach is the first to reveal multi-GPU scaling laws for NeRFs, showing improvements in reconstruction quality with larger parameter counts and speed improvements with more GPUs. We demonstrate the effectiveness of NeRF-XL on a wide variety of datasets, including the largest open-source dataset to date, MatrixCity, containing 258K images covering a 25km^2 city area.