NeRF-XL：複数GPUを用いたNeRFのスケーリング

NeRF-XL: Scaling NeRFs with Multiple GPUs

April 24, 2024

著者: Ruilong Li, Sanja Fidler, Angjoo Kanazawa, Francis Williams

cs.AI

要旨

本論文では、NeRF-XLを提案する。これは、Neural Radiance Fields（NeRF）を複数のGPUに分散させるための原理に基づいた手法であり、任意の大規模な容量を持つNeRFの学習とレンダリングを可能にする。まず、既存のマルチGPUアプローチを再検討し、大規模シーンを複数の独立して学習されたNeRFに分解する方法を考察する。これらの手法には、追加の計算リソース（GPU）を使用しても再構成品質の向上が妨げられる根本的な問題があることを指摘する。NeRF-XLはこれらの問題を解決し、より多くのハードウェアを使用することで、任意の数のパラメータを持つNeRFの学習とレンダリングを可能にする。本手法の核心は、古典的な単一GPUの場合と数学的に等価であり、GPU間の通信を最小化する新しい分散学習とレンダリングの定式化にある。任意の大規模なパラメータ数を備えたNeRFを実現することで、本アプローチは初めてNeRFのマルチGPUスケーリング則を明らかにし、より大きなパラメータ数による再構成品質の向上と、より多くのGPUによる速度向上を示す。NeRF-XLの有効性を、これまでで最大のオープンソースデータセットであるMatrixCityを含む多様なデータセットで実証する。MatrixCityは25km^2の都市エリアをカバーする258Kの画像を含む。

English

We present NeRF-XL, a principled method for distributing Neural Radiance Fields (NeRFs) across multiple GPUs, thus enabling the training and rendering of NeRFs with an arbitrarily large capacity. We begin by revisiting existing multi-GPU approaches, which decompose large scenes into multiple independently trained NeRFs, and identify several fundamental issues with these methods that hinder improvements in reconstruction quality as additional computational resources (GPUs) are used in training. NeRF-XL remedies these issues and enables the training and rendering of NeRFs with an arbitrary number of parameters by simply using more hardware. At the core of our method lies a novel distributed training and rendering formulation, which is mathematically equivalent to the classic single-GPU case and minimizes communication between GPUs. By unlocking NeRFs with arbitrarily large parameter counts, our approach is the first to reveal multi-GPU scaling laws for NeRFs, showing improvements in reconstruction quality with larger parameter counts and speed improvements with more GPUs. We demonstrate the effectiveness of NeRF-XL on a wide variety of datasets, including the largest open-source dataset to date, MatrixCity, containing 258K images covering a 25km^2 city area.