NeRF-XL: Масштабирование NeRF с использованием нескольких графических процессоров

NeRF-XL: Scaling NeRFs with Multiple GPUs

April 24, 2024

Авторы: Ruilong Li, Sanja Fidler, Angjoo Kanazawa, Francis Williams

cs.AI

Аннотация

Мы представляем NeRF-XL, принципиальный метод распределения нейронных полярностей (NeRF) по нескольким графическим процессорам (GPU), что позволяет обучать и отображать NeRF с произвольной большой емкостью. Мы начинаем с пересмотра существующих подходов для многографического процессорного использования, которые декомпозируют большие сцены на несколько независимо обученных NeRF и выявляем несколько фундаментальных проблем с этими методами, которые затрудняют улучшение качества реконструкции при использовании дополнительных вычислительных ресурсов (GPU) в процессе обучения. NeRF-XL устраняет эти проблемы и позволяет обучать и отображать NeRF с произвольным количеством параметров просто за счет использования большего количества аппаратного обеспечения. В основе нашего метода лежит новая формулировка распределенного обучения и отображения, которая математически эквивалентна классическому случаю обучения на одном GPU и минимизирует коммуникацию между GPU. Разблокировав NeRF с произвольным большим количеством параметров, наш подход первым показывает законы масштабирования NeRF для нескольких GPU, демонстрируя улучшения в качестве реконструкции с увеличением количества параметров и ускорение с увеличением числа GPU. Мы демонстрируем эффективность NeRF-XL на широком спектре наборов данных, включая самый крупный открытый набор данных на сегодняшний день, MatrixCity, содержащий 258 тыс. изображений, охватывающих городскую территорию площадью 25 км².

English

We present NeRF-XL, a principled method for distributing Neural Radiance Fields (NeRFs) across multiple GPUs, thus enabling the training and rendering of NeRFs with an arbitrarily large capacity. We begin by revisiting existing multi-GPU approaches, which decompose large scenes into multiple independently trained NeRFs, and identify several fundamental issues with these methods that hinder improvements in reconstruction quality as additional computational resources (GPUs) are used in training. NeRF-XL remedies these issues and enables the training and rendering of NeRFs with an arbitrary number of parameters by simply using more hardware. At the core of our method lies a novel distributed training and rendering formulation, which is mathematically equivalent to the classic single-GPU case and minimizes communication between GPUs. By unlocking NeRFs with arbitrarily large parameter counts, our approach is the first to reveal multi-GPU scaling laws for NeRFs, showing improvements in reconstruction quality with larger parameter counts and speed improvements with more GPUs. We demonstrate the effectiveness of NeRF-XL on a wide variety of datasets, including the largest open-source dataset to date, MatrixCity, containing 258K images covering a 25km^2 city area.