RayGauss: Volumetrische Gauss-gebaseerde Ray Casting voor Fotorealistische Nieuwe Weergave Synthese
RayGauss: Volumetric Gaussian-Based Ray Casting for Photorealistic Novel View Synthesis
August 6, 2024
Auteurs: Hugo Blanc, Jean-Emmanuel Deschaud, Alexis Paljic
cs.AI
Samenvatting
Differentieerbare methoden gebaseerd op volumetrische rendering hebben aanzienlijke vooruitgang geboekt in de synthese van nieuwe gezichtspunten. Enerzijds hebben innovatieve methoden het Neural Radiance Fields (NeRF)-netwerk vervangen door lokaal geparametriseerde structuren, waardoor hoogwaardige renderings in een redelijke tijd mogelijk zijn geworden. Anderzijds hebben benaderingen differentieerbare splatting gebruikt in plaats van NeRF's ray casting om stralingsvelden snel te optimaliseren met behulp van Gaussische kernen, wat een fijne aanpassing aan de scène mogelijk maakt. Echter, differentieerbaar ray casting van onregelmatig verdeelde kernen is nauwelijks onderzocht, terwijl splatting, ondanks het mogelijk maken van snelle renderingtijden, gevoelig is voor duidelijk zichtbare artefacten.
Ons werk overbrugt deze kloof door een fysisch consistente formulering te bieden van de uitgezonden straling c en dichtheid {\sigma}, ontbonden met Gaussische functies geassocieerd met Sferische Gaussians/Harmonics voor een all-frequente colorimetrische representatie. We introduceren ook een methode die differentieerbaar ray casting van onregelmatig verdeelde Gaussians mogelijk maakt met behulp van een algoritme dat stralingsvelden laag voor laag integreert en gebruikmaakt van een BVH-structuur. Hierdoor kan onze benadering zich fijn aanpassen aan de scène terwijl splatting-artefacten worden vermeden. Als resultaat behalen we een superieure renderingkwaliteit vergeleken met de state-of-the-art, terwijl we redelijke trainingstijden handhaven en inferentiesnelheden van 25 FPS bereiken op de Blender-dataset. Projectpagina met video's en code: https://raygauss.github.io/
English
Differentiable volumetric rendering-based methods made significant progress
in novel view synthesis. On one hand, innovative methods have replaced the
Neural Radiance Fields (NeRF) network with locally parameterized structures,
enabling high-quality renderings in a reasonable time. On the other hand,
approaches have used differentiable splatting instead of NeRF's ray casting to
optimize radiance fields rapidly using Gaussian kernels, allowing for fine
adaptation to the scene. However, differentiable ray casting of irregularly
spaced kernels has been scarcely explored, while splatting, despite enabling
fast rendering times, is susceptible to clearly visible artifacts.
Our work closes this gap by providing a physically consistent formulation of
the emitted radiance c and density {\sigma}, decomposed with Gaussian functions
associated with Spherical Gaussians/Harmonics for all-frequency colorimetric
representation. We also introduce a method enabling differentiable ray casting
of irregularly distributed Gaussians using an algorithm that integrates
radiance fields slab by slab and leverages a BVH structure. This allows our
approach to finely adapt to the scene while avoiding splatting artifacts. As a
result, we achieve superior rendering quality compared to the state-of-the-art
while maintaining reasonable training times and achieving inference speeds of
25 FPS on the Blender dataset. Project page with videos and code:
https://raygauss.github.io/