RayGauss: Lançamento de Raios Baseado em Gauss Volumétrico para Síntese de Visualização de Novas Vistas Fotorrealísticas

RayGauss: Volumetric Gaussian-Based Ray Casting for Photorealistic Novel View Synthesis

August 6, 2024

Autores: Hugo Blanc, Jean-Emmanuel Deschaud, Alexis Paljic

cs.AI

Resumo

Métodos baseados em renderização volumétrica diferenciável tiveram avanços significativos na síntese de novas visualizações. Por um lado, métodos inovadores substituíram a rede Neural Radiance Fields (NeRF) por estruturas localmente parametrizadas, possibilitando renderizações de alta qualidade em um tempo razoável. Por outro lado, abordagens têm utilizado splatting diferenciável em vez do lançamento de raios do NeRF para otimizar rapidamente os campos de radiância usando núcleos gaussianos, permitindo uma adaptação refinada à cena. No entanto, o lançamento de raios diferenciável de núcleos irregularmente espaçados tem sido pouco explorado, enquanto o splatting, apesar de possibilitar tempos de renderização rápidos, é suscetível a artefatos claramente visíveis. Nosso trabalho preenche essa lacuna ao fornecer uma formulação fisicamente consistente da radiância emitida c e da densidade σ, decompostas com funções gaussianas associadas a Gauss/Harmônicos Esféricos para representação colorimétrica de todas as frequências. Também introduzimos um método que possibilita o lançamento de raios diferenciável de gaussianas distribuídas irregularmente usando um algoritmo que integra os campos de radiância fatia por fatia e alavanca uma estrutura BVH. Isso permite que nossa abordagem se adapte finamente à cena, evitando artefatos de splatting. Como resultado, alcançamos qualidade de renderização superior em comparação com o estado-da-arte, mantendo tempos de treinamento razoáveis e atingindo velocidades de inferência de 25 FPS no conjunto de dados do Blender. Página do projeto com vídeos e código: https://raygauss.github.io/

English

Differentiable volumetric rendering-based methods made significant progress in novel view synthesis. On one hand, innovative methods have replaced the Neural Radiance Fields (NeRF) network with locally parameterized structures, enabling high-quality renderings in a reasonable time. On the other hand, approaches have used differentiable splatting instead of NeRF's ray casting to optimize radiance fields rapidly using Gaussian kernels, allowing for fine adaptation to the scene. However, differentiable ray casting of irregularly spaced kernels has been scarcely explored, while splatting, despite enabling fast rendering times, is susceptible to clearly visible artifacts. Our work closes this gap by providing a physically consistent formulation of the emitted radiance c and density {\sigma}, decomposed with Gaussian functions associated with Spherical Gaussians/Harmonics for all-frequency colorimetric representation. We also introduce a method enabling differentiable ray casting of irregularly distributed Gaussians using an algorithm that integrates radiance fields slab by slab and leverages a BVH structure. This allows our approach to finely adapt to the scene while avoiding splatting artifacts. As a result, we achieve superior rendering quality compared to the state-of-the-art while maintaining reasonable training times and achieving inference speeds of 25 FPS on the Blender dataset. Project page with videos and code: https://raygauss.github.io/