NeRF-XL: Skalierung von NeRFs mit mehreren GPUs

NeRF-XL: Scaling NeRFs with Multiple GPUs

April 24, 2024

Autoren: Ruilong Li, Sanja Fidler, Angjoo Kanazawa, Francis Williams

cs.AI

Zusammenfassung

Wir präsentieren NeRF-XL, eine methodische Methode zur Verteilung von Neural Radiance Fields (NeRFs) über mehrere GPUs, die somit das Training und Rendern von NeRFs mit einer beliebig großen Kapazität ermöglicht. Wir beginnen mit einer Überprüfung bestehender Multi-GPU-Ansätze, die große Szenen in mehrere unabhängig trainierte NeRFs aufteilen, und identifizieren mehrere grundlegende Probleme mit diesen Methoden, die Verbesserungen in der Rekonstruktionsqualität behindern, wenn zusätzliche Rechenressourcen (GPUs) beim Training verwendet werden. NeRF-XL behebt diese Probleme und ermöglicht das Training und Rendern von NeRFs mit einer beliebigen Anzahl von Parametern durch die Verwendung von mehr Hardware. Im Kern unserer Methode liegt eine neuartige Formulierung für verteiltes Training und Rendern, die mathematisch äquivalent zum klassischen Fall mit einer GPU ist und die Kommunikation zwischen den GPUs minimiert. Durch die Freischaltung von NeRFs mit beliebig großen Parameterzahlen ist unser Ansatz der erste, der die Skalierungsgesetze für NeRFs über mehrere GPUs aufzeigt, wobei Verbesserungen in der Rekonstruktionsqualität mit größeren Parameterzahlen und Geschwindigkeitsverbesserungen mit mehr GPUs gezeigt werden. Wir zeigen die Wirksamkeit von NeRF-XL an einer Vielzahl von Datensätzen, einschließlich des bisher größten Open-Source-Datensatzes, MatrixCity, der 258K Bilder eines 25km^2 großen Stadtgebiets umfasst.

English

We present NeRF-XL, a principled method for distributing Neural Radiance Fields (NeRFs) across multiple GPUs, thus enabling the training and rendering of NeRFs with an arbitrarily large capacity. We begin by revisiting existing multi-GPU approaches, which decompose large scenes into multiple independently trained NeRFs, and identify several fundamental issues with these methods that hinder improvements in reconstruction quality as additional computational resources (GPUs) are used in training. NeRF-XL remedies these issues and enables the training and rendering of NeRFs with an arbitrary number of parameters by simply using more hardware. At the core of our method lies a novel distributed training and rendering formulation, which is mathematically equivalent to the classic single-GPU case and minimizes communication between GPUs. By unlocking NeRFs with arbitrarily large parameter counts, our approach is the first to reveal multi-GPU scaling laws for NeRFs, showing improvements in reconstruction quality with larger parameter counts and speed improvements with more GPUs. We demonstrate the effectiveness of NeRF-XL on a wide variety of datasets, including the largest open-source dataset to date, MatrixCity, containing 258K images covering a 25km^2 city area.