RadSplat: Representación Gaussiana Informada por Campos de Radiancia para Renderizado Robusto en Tiempo Real con más de 900 FPS

RadSplat: Radiance Field-Informed Gaussian Splatting for Robust Real-Time Rendering with 900+ FPS

March 20, 2024

Autores: Michael Niemeyer, Fabian Manhardt, Marie-Julie Rakotosaona, Michael Oechsle, Daniel Duckworth, Rama Gosula, Keisuke Tateno, John Bates, Dominik Kaeser, Federico Tombari

cs.AI

Resumen

Los recientes avances en síntesis de vistas y renderizado en tiempo real han logrado una calidad fotorrealista con velocidades de renderizado impresionantes. Si bien los métodos basados en campos de radiancia alcanzan un rendimiento de vanguardia en escenarios desafiantes, como capturas en entornos naturales y escenas a gran escala, a menudo sufren de requisitos computacionales excesivamente altos asociados con el renderizado volumétrico. Por otro lado, los métodos basados en splatting gaussiano dependen de la rasterización y logran naturalmente el renderizado en tiempo real, pero se ven afectados por heurísticas de optimización frágiles que tienen un rendimiento inferior en escenas más complejas. En este trabajo, presentamos RadSplat, un método ligero para el renderizado robusto en tiempo real de escenas complejas. Nuestras principales contribuciones son tres. Primero, utilizamos campos de radiancia como una señal previa y de supervisión para optimizar representaciones de escenas basadas en puntos, lo que conduce a una mejora en la calidad y una optimización más robusta. A continuación, desarrollamos una técnica novedosa de poda que reduce el número total de puntos mientras mantiene una alta calidad, lo que resulta en representaciones de escenas más pequeñas y compactas con velocidades de inferencia más rápidas. Finalmente, proponemos un enfoque novedoso de filtrado en tiempo de prueba que acelera aún más el renderizado y permite escalar a escenas más grandes, del tamaño de una casa. Encontramos que nuestro método permite la síntesis de vanguardia de capturas complejas a más de 900 FPS.

English

Recent advances in view synthesis and real-time rendering have achieved photorealistic quality at impressive rendering speeds. While Radiance Field-based methods achieve state-of-the-art quality in challenging scenarios such as in-the-wild captures and large-scale scenes, they often suffer from excessively high compute requirements linked to volumetric rendering. Gaussian Splatting-based methods, on the other hand, rely on rasterization and naturally achieve real-time rendering but suffer from brittle optimization heuristics that underperform on more challenging scenes. In this work, we present RadSplat, a lightweight method for robust real-time rendering of complex scenes. Our main contributions are threefold. First, we use radiance fields as a prior and supervision signal for optimizing point-based scene representations, leading to improved quality and more robust optimization. Next, we develop a novel pruning technique reducing the overall point count while maintaining high quality, leading to smaller and more compact scene representations with faster inference speeds. Finally, we propose a novel test-time filtering approach that further accelerates rendering and allows to scale to larger, house-sized scenes. We find that our method enables state-of-the-art synthesis of complex captures at 900+ FPS.