RayGauss: Объемный гауссовский лучевой метод для фотореалистичного синтеза новых видов.

RayGauss: Volumetric Gaussian-Based Ray Casting for Photorealistic Novel View Synthesis

August 6, 2024

Авторы: Hugo Blanc, Jean-Emmanuel Deschaud, Alexis Paljic

cs.AI

Аннотация

Методы, основанные на дифференцируемой объемной визуализации, значительно продвинулись в синтезе нового вида. С одной стороны, инновационные методы заменили сеть Neural Radiance Fields (NeRF) на локально параметризованные структуры, обеспечивая высококачественную визуализацию за разумное время. С другой стороны, подходы использовали дифференцируемое сглаживание вместо лучевого литья NeRF для быстрой оптимизации радиационных полей с помощью гауссовских ядер, позволяя тонко адаптироваться к сцене. Однако дифференцируемое лучевое литье с нерегулярно распределенными ядрами было мало исследовано, в то время как сглаживание, несмотря на быстрые времена визуализации, подвержено видимым артефактам. Наша работа закрывает этот разрыв, предоставляя физически согласованную формулировку излучаемой радиации c и плотности {\sigma}, декомпозированную с помощью гауссовских функций, ассоциированных с сферическими гауссианами/гармониками для цветовой репрезентации всех частот. Мы также представляем метод, позволяющий дифференцируемое лучевое литье с нерегулярно распределенными гауссианами с использованием алгоритма, который интегрирует радиационные поля слой за слоем и использует структуру BVH. Это позволяет нашему подходу тонко адаптироваться к сцене, избегая артефактов сглаживания. В результате мы достигаем превосходного качества визуализации по сравнению с современными методами, сохраняя разумные времена обучения и достигая скорости вывода 25 кадров в секунду на наборе данных Blender. Страница проекта с видео и кодом: https://raygauss.github.io/

English

Differentiable volumetric rendering-based methods made significant progress in novel view synthesis. On one hand, innovative methods have replaced the Neural Radiance Fields (NeRF) network with locally parameterized structures, enabling high-quality renderings in a reasonable time. On the other hand, approaches have used differentiable splatting instead of NeRF's ray casting to optimize radiance fields rapidly using Gaussian kernels, allowing for fine adaptation to the scene. However, differentiable ray casting of irregularly spaced kernels has been scarcely explored, while splatting, despite enabling fast rendering times, is susceptible to clearly visible artifacts. Our work closes this gap by providing a physically consistent formulation of the emitted radiance c and density {\sigma}, decomposed with Gaussian functions associated with Spherical Gaussians/Harmonics for all-frequency colorimetric representation. We also introduce a method enabling differentiable ray casting of irregularly distributed Gaussians using an algorithm that integrates radiance fields slab by slab and leverages a BVH structure. This allows our approach to finely adapt to the scene while avoiding splatting artifacts. As a result, we achieve superior rendering quality compared to the state-of-the-art while maintaining reasonable training times and achieving inference speeds of 25 FPS on the Blender dataset. Project page with videos and code: https://raygauss.github.io/