RayGauss : Lancer de rayons basé sur des Gaussiennes volumétriques pour la synthèse de nouvelles vues photoréalistes

RayGauss: Volumetric Gaussian-Based Ray Casting for Photorealistic Novel View Synthesis

August 6, 2024

Auteurs: Hugo Blanc, Jean-Emmanuel Deschaud, Alexis Paljic

cs.AI

Résumé

Les méthodes basées sur le rendu volumétrique différentiable ont réalisé des progrès significatifs dans la synthèse de nouvelles vues. D'une part, des méthodes innovantes ont remplacé le réseau de Neural Radiance Fields (NeRF) par des structures localement paramétrisées, permettant des rendus de haute qualité en un temps raisonnable. D'autre part, des approches ont utilisé le splatting différentiable au lieu du lancer de rayons de NeRF pour optimiser rapidement les champs de radiance à l'aide de noyaux gaussiens, permettant une adaptation fine à la scène. Cependant, le lancer de rayons différentiable de noyaux irrégulièrement espacés a été peu exploré, tandis que le splatting, bien qu'il permette des temps de rendu rapides, est susceptible de produire des artefacts clairement visibles. Notre travail comble cette lacune en fournissant une formulation physiquement cohérente de la radiance émise c et de la densité {\sigma}, décomposées avec des fonctions gaussiennes associées à des Gaussiennes Sphériques/Harmoniques pour une représentation colorimétrique à toutes fréquences. Nous introduisons également une méthode permettant le lancer de rayons différentiable de Gaussiennes distribuées de manière irrégulière à l'aide d'un algorithme qui intègre les champs de radiance tranche par tranche et exploite une structure BVH. Cela permet à notre approche de s'adapter finement à la scène tout en évitant les artefacts du splatting. En conséquence, nous obtenons une qualité de rendu supérieure par rapport à l'état de l'art tout en maintenant des temps d'entraînement raisonnables et en atteignant des vitesses d'inférence de 25 FPS sur le jeu de données Blender. Page du projet avec vidéos et code : https://raygauss.github.io/

English

Differentiable volumetric rendering-based methods made significant progress in novel view synthesis. On one hand, innovative methods have replaced the Neural Radiance Fields (NeRF) network with locally parameterized structures, enabling high-quality renderings in a reasonable time. On the other hand, approaches have used differentiable splatting instead of NeRF's ray casting to optimize radiance fields rapidly using Gaussian kernels, allowing for fine adaptation to the scene. However, differentiable ray casting of irregularly spaced kernels has been scarcely explored, while splatting, despite enabling fast rendering times, is susceptible to clearly visible artifacts. Our work closes this gap by providing a physically consistent formulation of the emitted radiance c and density {\sigma}, decomposed with Gaussian functions associated with Spherical Gaussians/Harmonics for all-frequency colorimetric representation. We also introduce a method enabling differentiable ray casting of irregularly distributed Gaussians using an algorithm that integrates radiance fields slab by slab and leverages a BVH structure. This allows our approach to finely adapt to the scene while avoiding splatting artifacts. As a result, we achieve superior rendering quality compared to the state-of-the-art while maintaining reasonable training times and achieving inference speeds of 25 FPS on the Blender dataset. Project page with videos and code: https://raygauss.github.io/