RayGauss: Volumetrisches Gauss-basiertes Ray Casting für fotorealistische neuartige Ansichtssynthese

RayGauss: Volumetric Gaussian-Based Ray Casting for Photorealistic Novel View Synthesis

August 6, 2024

Autoren: Hugo Blanc, Jean-Emmanuel Deschaud, Alexis Paljic

cs.AI

Zusammenfassung

Differenzierbare volumetrische Rendering-basierte Methoden haben signifikante Fortschritte bei der neuartigen Ansichtssynthese erzielt. Einerseits haben innovative Methoden das Neural Radiance Fields (NeRF)-Netzwerk durch lokal parametrisierte Strukturen ersetzt, was hochwertige Renderings in angemessener Zeit ermöglicht. Andererseits haben Ansätze differentiable Splatting anstelle von NeRFs Strahlenverfolgung verwendet, um Radiance Fields schnell mithilfe von Gauß'schen Kernen zu optimieren, was eine feine Anpassung an die Szene ermöglicht. Allerdings wurde die differentiable Strahlenverfolgung von unregelmäßig verteilten Kernen kaum erforscht, während Splatting trotz schneller Renderzeiten anfällig für deutlich sichtbare Artefakte ist. Unsere Arbeit schließt diese Lücke, indem wir eine physikalisch konsistente Formulierung der emittierten Strahlung c und Dichte σ bereitstellen, die mit Gauß-Funktionen, die mit Sphärischen Gaußschen/Harmonischen für eine farbmetrische Darstellung aller Frequenzen assoziiert sind, zerlegt wird. Wir stellen auch eine Methode vor, die differentiable Strahlenverfolgung von unregelmäßig verteilten Gaußschen mithilfe eines Algorithmus ermöglicht, der Radiance Fields Schicht für Schicht integriert und eine BVH-Struktur nutzt. Dies ermöglicht es unserem Ansatz, sich fein an die Szene anzupassen, während Splatting-Artefakte vermieden werden. Als Ergebnis erzielen wir eine überlegene Rendering-Qualität im Vergleich zum Stand der Technik, wobei angemessene Trainingszeiten eingehalten werden und Inferenzgeschwindigkeiten von 25 FPS auf dem Blender-Datensatz erreicht werden. Projektseite mit Videos und Code: https://raygauss.github.io/

English

Differentiable volumetric rendering-based methods made significant progress in novel view synthesis. On one hand, innovative methods have replaced the Neural Radiance Fields (NeRF) network with locally parameterized structures, enabling high-quality renderings in a reasonable time. On the other hand, approaches have used differentiable splatting instead of NeRF's ray casting to optimize radiance fields rapidly using Gaussian kernels, allowing for fine adaptation to the scene. However, differentiable ray casting of irregularly spaced kernels has been scarcely explored, while splatting, despite enabling fast rendering times, is susceptible to clearly visible artifacts. Our work closes this gap by providing a physically consistent formulation of the emitted radiance c and density {\sigma}, decomposed with Gaussian functions associated with Spherical Gaussians/Harmonics for all-frequency colorimetric representation. We also introduce a method enabling differentiable ray casting of irregularly distributed Gaussians using an algorithm that integrates radiance fields slab by slab and leverages a BVH structure. This allows our approach to finely adapt to the scene while avoiding splatting artifacts. As a result, we achieve superior rendering quality compared to the state-of-the-art while maintaining reasonable training times and achieving inference speeds of 25 FPS on the Blender dataset. Project page with videos and code: https://raygauss.github.io/