RadSplat: Splatting Gaussiano Informado por Campos de Radiação para Renderização Robusta em Tempo Real com mais de 900 FPS

RadSplat: Radiance Field-Informed Gaussian Splatting for Robust Real-Time Rendering with 900+ FPS

March 20, 2024

Autores: Michael Niemeyer, Fabian Manhardt, Marie-Julie Rakotosaona, Michael Oechsle, Daniel Duckworth, Rama Gosula, Keisuke Tateno, John Bates, Dominik Kaeser, Federico Tombari

cs.AI

Resumo

Avanços recentes em síntese de visão e renderização em tempo real alcançaram qualidade fotorrealista com velocidades impressionantes de renderização. Enquanto métodos baseados em Campos de Radiação atingem qualidade de ponta em cenários desafiadores, como capturas em ambientes naturais e cenas em grande escala, eles frequentemente sofrem com requisitos computacionais excessivamente altos associados à renderização volumétrica. Por outro lado, métodos baseados em Splatting Gaussiano dependem de rasterização e naturalmente alcançam renderização em tempo real, mas sofrem com heurísticas de otimização frágeis que têm desempenho inferior em cenas mais desafiadoras. Neste trabalho, apresentamos o RadSplat, um método leve para renderização robusta em tempo real de cenas complexas. Nossas principais contribuições são três. Primeiro, utilizamos campos de radiação como um sinal de prioridade e supervisão para otimizar representações de cenas baseadas em pontos, levando a uma melhoria na qualidade e a uma otimização mais robusta. Em seguida, desenvolvemos uma nova técnica de poda que reduz o número total de pontos enquanto mantém alta qualidade, resultando em representações de cenas menores e mais compactas com velocidades de inferência mais rápidas. Por fim, propomos uma nova abordagem de filtragem em tempo de teste que acelera ainda mais a renderização e permite escalar para cenas maiores, do tamanho de casas. Descobrimos que nosso método permite a síntese de capturas complexas com qualidade de ponta a mais de 900 FPS.

English

Recent advances in view synthesis and real-time rendering have achieved photorealistic quality at impressive rendering speeds. While Radiance Field-based methods achieve state-of-the-art quality in challenging scenarios such as in-the-wild captures and large-scale scenes, they often suffer from excessively high compute requirements linked to volumetric rendering. Gaussian Splatting-based methods, on the other hand, rely on rasterization and naturally achieve real-time rendering but suffer from brittle optimization heuristics that underperform on more challenging scenes. In this work, we present RadSplat, a lightweight method for robust real-time rendering of complex scenes. Our main contributions are threefold. First, we use radiance fields as a prior and supervision signal for optimizing point-based scene representations, leading to improved quality and more robust optimization. Next, we develop a novel pruning technique reducing the overall point count while maintaining high quality, leading to smaller and more compact scene representations with faster inference speeds. Finally, we propose a novel test-time filtering approach that further accelerates rendering and allows to scale to larger, house-sized scenes. We find that our method enables state-of-the-art synthesis of complex captures at 900+ FPS.