NeRF-XL: Schaalvergroting van NeRF's met Meerdere GPU's

NeRF-XL: Scaling NeRFs with Multiple GPUs

April 24, 2024

Auteurs: Ruilong Li, Sanja Fidler, Angjoo Kanazawa, Francis Williams

cs.AI

Samenvatting

We presenteren NeRF-XL, een principiële methode voor het verdelen van Neural Radiance Fields (NeRFs) over meerdere GPU's, waardoor het trainen en renderen van NeRFs met een willekeurig grote capaciteit mogelijk wordt. We beginnen met het herzien van bestaande multi-GPU-benaderingen, die grote scènes opdelen in meerdere onafhankelijk getrainde NeRFs, en identificeren verschillende fundamentele problemen met deze methoden die verbeteringen in de reconstructiekwaliteit belemmeren naarmate er meer rekenbronnen (GPU's) worden gebruikt tijdens het trainen. NeRF-XL verhelpt deze problemen en maakt het trainen en renderen van NeRFs met een willekeurig aantal parameters mogelijk door simpelweg meer hardware te gebruiken. De kern van onze methode bestaat uit een nieuwe gedistribueerde trainings- en renderingsformulering, die wiskundig equivalent is aan het klassieke single-GPU-geval en de communicatie tussen GPU's minimaliseert. Door NeRFs met willekeurig grote aantallen parameters mogelijk te maken, is onze aanpak de eerste die schaalwetten voor NeRFs op meerdere GPU's onthult, waarbij verbeteringen in reconstructiekwaliteit worden getoond bij grotere aantallen parameters en snelheidsverbeteringen bij meer GPU's. We demonstreren de effectiviteit van NeRF-XL op een breed scala aan datasets, waaronder de grootste open-source dataset tot nu toe, MatrixCity, die 258K afbeeldingen bevat die een stedelijk gebied van 25 km² beslaan.

English

We present NeRF-XL, a principled method for distributing Neural Radiance Fields (NeRFs) across multiple GPUs, thus enabling the training and rendering of NeRFs with an arbitrarily large capacity. We begin by revisiting existing multi-GPU approaches, which decompose large scenes into multiple independently trained NeRFs, and identify several fundamental issues with these methods that hinder improvements in reconstruction quality as additional computational resources (GPUs) are used in training. NeRF-XL remedies these issues and enables the training and rendering of NeRFs with an arbitrary number of parameters by simply using more hardware. At the core of our method lies a novel distributed training and rendering formulation, which is mathematically equivalent to the classic single-GPU case and minimizes communication between GPUs. By unlocking NeRFs with arbitrarily large parameter counts, our approach is the first to reveal multi-GPU scaling laws for NeRFs, showing improvements in reconstruction quality with larger parameter counts and speed improvements with more GPUs. We demonstrate the effectiveness of NeRF-XL on a wide variety of datasets, including the largest open-source dataset to date, MatrixCity, containing 258K images covering a 25km^2 city area.