RayGauss: Ray Casting basado en Gaussianas volumétricas para la síntesis de vistas novedosas fotorealísticas

RayGauss: Volumetric Gaussian-Based Ray Casting for Photorealistic Novel View Synthesis

August 6, 2024

Autores: Hugo Blanc, Jean-Emmanuel Deschaud, Alexis Paljic

cs.AI

Resumen

Los métodos basados en renderizado volumétrico diferenciable han logrado avances significativos en la síntesis de vistas novedosas. Por un lado, métodos innovadores han reemplazado la red Neural Radiance Fields (NeRF) con estructuras parametrizadas localmente, permitiendo renderizados de alta calidad en un tiempo razonable. Por otro lado, enfoques han utilizado el splatting diferenciable en lugar del trazado de rayos de NeRF para optimizar campos de radiancia rápidamente utilizando núcleos gaussianos, lo que permite una adaptación fina a la escena. Sin embargo, el trazado de rayos diferenciable de núcleos irregularmente espaciados ha sido escasamente explorado, mientras que el splatting, a pesar de permitir tiempos de renderizado rápidos, es susceptible a artefactos claramente visibles. Nuestro trabajo cierra esta brecha al proporcionar una formulación físicamente consistente de la radiancia emitida c y la densidad σ, descompuestas con funciones gaussianas asociadas con gaussianas/esféricas para la representación colorimétrica de todas las frecuencias. También introducimos un método que permite el trazado de rayos diferenciable de gaussianas distribuidas irregularmente utilizando un algoritmo que integra campos de radiancia por capas y aprovecha una estructura de BVH. Esto permite que nuestro enfoque se adapte finamente a la escena evitando los artefactos del splatting. Como resultado, logramos una calidad de renderizado superior en comparación con el estado del arte, manteniendo tiempos de entrenamiento razonables y alcanzando velocidades de inferencia de 25 FPS en el conjunto de datos de Blender. Página del proyecto con videos y código: https://raygauss.github.io/

English

Differentiable volumetric rendering-based methods made significant progress in novel view synthesis. On one hand, innovative methods have replaced the Neural Radiance Fields (NeRF) network with locally parameterized structures, enabling high-quality renderings in a reasonable time. On the other hand, approaches have used differentiable splatting instead of NeRF's ray casting to optimize radiance fields rapidly using Gaussian kernels, allowing for fine adaptation to the scene. However, differentiable ray casting of irregularly spaced kernels has been scarcely explored, while splatting, despite enabling fast rendering times, is susceptible to clearly visible artifacts. Our work closes this gap by providing a physically consistent formulation of the emitted radiance c and density {\sigma}, decomposed with Gaussian functions associated with Spherical Gaussians/Harmonics for all-frequency colorimetric representation. We also introduce a method enabling differentiable ray casting of irregularly distributed Gaussians using an algorithm that integrates radiance fields slab by slab and leverages a BVH structure. This allows our approach to finely adapt to the scene while avoiding splatting artifacts. As a result, we achieve superior rendering quality compared to the state-of-the-art while maintaining reasonable training times and achieving inference speeds of 25 FPS on the Blender dataset. Project page with videos and code: https://raygauss.github.io/