VastGaussian: Обширные 3D-гауссовы распределения для реконструкции крупномасштабных сцен
VastGaussian: Vast 3D Gaussians for Large Scene Reconstruction
February 27, 2024
Авторы: Jiaqi Lin, Zhihao Li, Xiao Tang, Jianzhuang Liu, Shiyong Liu, Jiayue Liu, Yangdi Lu, Xiaofei Wu, Songcen Xu, Youliang Yan, Wenming Yang
cs.AI
Аннотация
Существующие методы реконструкции крупных сцен на основе NeRF часто имеют ограничения в визуальном качестве и скорости рендеринга. Хотя недавно предложенный метод 3D Gaussian Splatting хорошо работает на небольших и объектно-ориентированных сценах, его масштабирование на крупные сцены сталкивается с трудностями из-за ограниченной видеопамяти, длительного времени оптимизации и заметных вариаций внешнего вида. Для решения этих проблем мы представляем VastGaussian — первый метод высококачественной реконструкции и рендеринга в реальном времени для крупных сцен на основе 3D Gaussian Splatting. Мы предлагаем прогрессивную стратегию разделения крупной сцены на несколько ячеек, где тренировочные камеры и облако точек распределяются с учетом критерия видимости в воздушном пространстве. Эти ячейки объединяются в полную сцену после параллельной оптимизации. Мы также вводим разделенное моделирование внешнего вида в процесс оптимизации, чтобы уменьшить вариации внешнего вида в рендеренных изображениях. Наш подход превосходит существующие методы на основе NeRF и достигает передовых результатов на нескольких наборах данных крупных сцен, обеспечивая быструю оптимизацию и высококачественный рендеринг в реальном времени.
English
Existing NeRF-based methods for large scene reconstruction often have
limitations in visual quality and rendering speed. While the recent 3D Gaussian
Splatting works well on small-scale and object-centric scenes, scaling it up to
large scenes poses challenges due to limited video memory, long optimization
time, and noticeable appearance variations. To address these challenges, we
present VastGaussian, the first method for high-quality reconstruction and
real-time rendering on large scenes based on 3D Gaussian Splatting. We propose
a progressive partitioning strategy to divide a large scene into multiple
cells, where the training cameras and point cloud are properly distributed with
an airspace-aware visibility criterion. These cells are merged into a complete
scene after parallel optimization. We also introduce decoupled appearance
modeling into the optimization process to reduce appearance variations in the
rendered images. Our approach outperforms existing NeRF-based methods and
achieves state-of-the-art results on multiple large scene datasets, enabling
fast optimization and high-fidelity real-time rendering.