3D Гауссово размытие для рендеринга полей излучения в реальном времени

3D Gaussian Splatting for Real-Time Radiance Field Rendering

August 8, 2023

Авторы: Bernhard Kerbl, Georgios Kopanas, Thomas Leimkühler, George Drettakis

cs.AI

Аннотация

Методы Radiance Field недавно произвели революцию в синтезе новых видов сцен, снятых с использованием нескольких фотографий или видео. Однако достижение высокого визуального качества по-прежнему требует использования нейронных сетей, которые дорого обучать и визуализировать, в то время как более быстрые методы неизбежно жертвуют качеством ради скорости. Для неограниченных и полных сцен (в отличие изолированных объектов) и рендеринга с разрешением 1080p ни один из существующих методов не может достичь скорости отображения в реальном времени. Мы представляем три ключевых элемента, которые позволяют нам достичь передового визуального качества, сохраняя конкурентоспособное время обучения и, что важно, обеспечивают высококачественный синтез новых видов в реальном времени (>= 30 кадров в секунду) с разрешением 1080p. Во-первых, начиная с разреженных точек, полученных в процессе калибровки камеры, мы представляем сцену с помощью 3D гауссиан, которые сохраняют желаемые свойства непрерывных объемных полей излучения для оптимизации сцены, избегая при этом ненужных вычислений в пустом пространстве. Во-вторых, мы выполняем чередующуюся оптимизацию/контроль плотности 3D гауссиан, в частности оптимизируя анизотропную ковариацию для достижения точного представления сцены. В-третьих, мы разрабатываем быстрый алгоритм рендеринга с учетом видимости, который поддерживает анизотропное размытие и ускоряет обучение, а также позволяет выполнять рендеринг в реальном времени. Мы демонстрируем передовое визуальное качество и рендеринг в реальном времени на нескольких известных наборах данных.

English

Radiance Field methods have recently revolutionized novel-view synthesis of scenes captured with multiple photos or videos. However, achieving high visual quality still requires neural networks that are costly to train and render, while recent faster methods inevitably trade off speed for quality. For unbounded and complete scenes (rather than isolated objects) and 1080p resolution rendering, no current method can achieve real-time display rates. We introduce three key elements that allow us to achieve state-of-the-art visual quality while maintaining competitive training times and importantly allow high-quality real-time (>= 30 fps) novel-view synthesis at 1080p resolution. First, starting from sparse points produced during camera calibration, we represent the scene with 3D Gaussians that preserve desirable properties of continuous volumetric radiance fields for scene optimization while avoiding unnecessary computation in empty space; Second, we perform interleaved optimization/density control of the 3D Gaussians, notably optimizing anisotropic covariance to achieve an accurate representation of the scene; Third, we develop a fast visibility-aware rendering algorithm that supports anisotropic splatting and both accelerates training and allows realtime rendering. We demonstrate state-of-the-art visual quality and real-time rendering on several established datasets.