RayGauss: Ray Casting Basato su Gaussiane Volumetriche per la Sintesi Fotorealistica di Nuove Visualizzazioni
RayGauss: Volumetric Gaussian-Based Ray Casting for Photorealistic Novel View Synthesis
August 6, 2024
Autori: Hugo Blanc, Jean-Emmanuel Deschaud, Alexis Paljic
cs.AI
Abstract
I metodi basati su rendering volumetrico differenziabile hanno compiuto progressi significativi nella sintesi di nuove viste. Da un lato, approcci innovativi hanno sostituito la rete Neural Radiance Fields (NeRF) con strutture parametrizzate localmente, consentendo rendering di alta qualità in tempi ragionevoli. Dall'altro, alcune tecniche hanno utilizzato lo splatting differenziabile al posto del ray casting di NeRF per ottimizzare rapidamente i campi di radianza mediante kernel gaussiani, permettendo un adattamento fine alla scena. Tuttavia, il ray casting differenziabile di kernel distribuiti irregolarmente è stato poco esplorato, mentre lo splatting, nonostante permetta tempi di rendering rapidi, è suscettibile ad artefatti chiaramente visibili.
Il nostro lavoro colma questa lacuna fornendo una formulazione fisicamente consistente della radianza emessa c e della densità {\sigma}, scomposte con funzioni gaussiane associate a Gaussiane Sferiche/Armoniche per una rappresentazione cromatica a tutte le frequenze. Introduciamo inoltre un metodo che abilita il ray casting differenziabile di Gaussiane distribuite irregolarmente, utilizzando un algoritmo che integra i campi di radianza strato per strato e sfrutta una struttura BVH. Ciò consente al nostro approccio di adattarsi finemente alla scena evitando gli artefatti dello splatting. Di conseguenza, otteniamo una qualità di rendering superiore rispetto allo stato dell'arte, mantenendo tempi di addestramento ragionevoli e raggiungendo velocità di inferenza di 25 FPS sul dataset Blender. Pagina del progetto con video e codice: https://raygauss.github.io/
English
Differentiable volumetric rendering-based methods made significant progress
in novel view synthesis. On one hand, innovative methods have replaced the
Neural Radiance Fields (NeRF) network with locally parameterized structures,
enabling high-quality renderings in a reasonable time. On the other hand,
approaches have used differentiable splatting instead of NeRF's ray casting to
optimize radiance fields rapidly using Gaussian kernels, allowing for fine
adaptation to the scene. However, differentiable ray casting of irregularly
spaced kernels has been scarcely explored, while splatting, despite enabling
fast rendering times, is susceptible to clearly visible artifacts.
Our work closes this gap by providing a physically consistent formulation of
the emitted radiance c and density {\sigma}, decomposed with Gaussian functions
associated with Spherical Gaussians/Harmonics for all-frequency colorimetric
representation. We also introduce a method enabling differentiable ray casting
of irregularly distributed Gaussians using an algorithm that integrates
radiance fields slab by slab and leverages a BVH structure. This allows our
approach to finely adapt to the scene while avoiding splatting artifacts. As a
result, we achieve superior rendering quality compared to the state-of-the-art
while maintaining reasonable training times and achieving inference speeds of
25 FPS on the Blender dataset. Project page with videos and code:
https://raygauss.github.io/