RadSplat: Радиационное поле, основанное на гауссовом сглаживании для надежного визуализации в реальном времени со скоростью более 900 кадров в секунду.

RadSplat: Radiance Field-Informed Gaussian Splatting for Robust Real-Time Rendering with 900+ FPS

March 20, 2024

Авторы: Michael Niemeyer, Fabian Manhardt, Marie-Julie Rakotosaona, Michael Oechsle, Daniel Duckworth, Rama Gosula, Keisuke Tateno, John Bates, Dominik Kaeser, Federico Tombari

cs.AI

Аннотация

Недавние достижения в синтезе изображений и реальном времени рендеринга позволили достичь фотореалистичного качества при впечатляющей скорости рендеринга. В то время как методы на основе поля радиации достигают передового качества в сложных сценариях, таких как съемка в естественных условиях и масштабные сцены, они часто страдают от чрезмерно высоких вычислительных требований, связанных с объемным рендерингом. Методы на основе гауссовского сплетения, с другой стороны, используют растеризацию и естественным образом достигают реального времени рендеринга, но страдают от хрупких эвристик оптимизации, которые показывают неудовлетворительные результаты на более сложных сценах. В данной работе мы представляем RadSplat, легкий метод для надежного реального времени рендеринга сложных сцен. Наши основные вклады тройные. Во-первых, мы используем поля радиации в качестве априорного и сигнала надзора для оптимизации сцен, представленных точками, что приводит к улучшению качества и более надежной оптимизации. Затем мы разрабатываем новую технику обрезки, снижающую общее количество точек, сохраняя при этом высокое качество, что приводит к более маленьким и компактным представлениям сцен с более быстрыми скоростями вывода. Наконец, мы предлагаем новый подход к фильтрации во время тестирования, который дополнительно ускоряет рендеринг и позволяет масштабироваться до более крупных сцен размером с дом. Мы обнаружили, что наш метод позволяет достичь передового синтеза сложных съемок со скоростью более 900 кадров в секунду.

English

Recent advances in view synthesis and real-time rendering have achieved photorealistic quality at impressive rendering speeds. While Radiance Field-based methods achieve state-of-the-art quality in challenging scenarios such as in-the-wild captures and large-scale scenes, they often suffer from excessively high compute requirements linked to volumetric rendering. Gaussian Splatting-based methods, on the other hand, rely on rasterization and naturally achieve real-time rendering but suffer from brittle optimization heuristics that underperform on more challenging scenes. In this work, we present RadSplat, a lightweight method for robust real-time rendering of complex scenes. Our main contributions are threefold. First, we use radiance fields as a prior and supervision signal for optimizing point-based scene representations, leading to improved quality and more robust optimization. Next, we develop a novel pruning technique reducing the overall point count while maintaining high quality, leading to smaller and more compact scene representations with faster inference speeds. Finally, we propose a novel test-time filtering approach that further accelerates rendering and allows to scale to larger, house-sized scenes. We find that our method enables state-of-the-art synthesis of complex captures at 900+ FPS.