NeRF-XL: 다중 GPU를 활용한 NeRF 확장

NeRF-XL: Scaling NeRFs with Multiple GPUs

April 24, 2024

저자: Ruilong Li, Sanja Fidler, Angjoo Kanazawa, Francis Williams

cs.AI

초록

우리는 NeRF-XL을 소개합니다. 이는 Neural Radiance Fields(NeRF)를 여러 GPU에 분산시키는 원칙적인 방법으로, 임의로 큰 용량의 NeRF를 학습하고 렌더링할 수 있게 합니다. 먼저, 기존의 다중 GPU 접근법을 재검토하여 대규모 장면을 여러 개의 독립적으로 학습된 NeRF로 분해하는 방식의 근본적인 문제점들을 식별했습니다. 이러한 문제점들은 추가적인 계산 자원(GPU)을 사용함에도 불구하고 재구성 품질의 개선을 방해합니다. NeRF-XL은 이러한 문제를 해결하고, 더 많은 하드웨어를 사용함으로써 임의의 수의 매개변수를 가진 NeRF를 학습하고 렌더링할 수 있게 합니다. 우리 방법의 핵심은 수학적으로 기존의 단일 GPU 사례와 동등하며 GPU 간 통신을 최소화하는 새로운 분산 학습 및 렌더링 공식입니다. 임의로 큰 매개변수 수를 가진 NeRF를 가능하게 함으로써, 우리의 접근법은 NeRF에 대한 다중 GPU 스케일링 법칙을 처음으로 밝혀냈으며, 더 큰 매개변수 수로 재구성 품질이 개선되고 더 많은 GPU로 속도가 향상됨을 보여줍니다. 우리는 NeRF-XL의 효과를 다양한 데이터셋에서 입증했으며, 여기에는 25km² 도시 지역을 커버하는 258K 이미지를 포함한 현재까지 가장 큰 오픈소스 데이터셋인 MatrixCity도 포함됩니다.

English

We present NeRF-XL, a principled method for distributing Neural Radiance Fields (NeRFs) across multiple GPUs, thus enabling the training and rendering of NeRFs with an arbitrarily large capacity. We begin by revisiting existing multi-GPU approaches, which decompose large scenes into multiple independently trained NeRFs, and identify several fundamental issues with these methods that hinder improvements in reconstruction quality as additional computational resources (GPUs) are used in training. NeRF-XL remedies these issues and enables the training and rendering of NeRFs with an arbitrary number of parameters by simply using more hardware. At the core of our method lies a novel distributed training and rendering formulation, which is mathematically equivalent to the classic single-GPU case and minimizes communication between GPUs. By unlocking NeRFs with arbitrarily large parameter counts, our approach is the first to reveal multi-GPU scaling laws for NeRFs, showing improvements in reconstruction quality with larger parameter counts and speed improvements with more GPUs. We demonstrate the effectiveness of NeRF-XL on a wide variety of datasets, including the largest open-source dataset to date, MatrixCity, containing 258K images covering a 25km^2 city area.