RayGauss: 체적 가우시안 기반 레이 캐스팅을 통한 사실적인 신규 뷰 합성

RayGauss: Volumetric Gaussian-Based Ray Casting for Photorealistic Novel View Synthesis

August 6, 2024

저자: Hugo Blanc, Jean-Emmanuel Deschaud, Alexis Paljic

cs.AI

초록

차별화 가능한 체적 렌더링 기반 방법은 신규 시점 합성에서 상당한 진전을 이루었습니다. 한편, 혁신적인 방법은 Neural Radiance Fields (NeRF) 네트워크를 지역적 매개변수화된 구조로 대체하여 합리적인 시간 내에 고품질 렌더링을 가능케 했습니다. 다른 한편으로, 접근 방식은 NeRF의 광선 캐스팅 대신 가우시안 커널을 사용하여 광도 필드를 신속하게 최적화하는 차별화 가능한 스플래팅을 채택함으로써 장면에 민감하게 적응할 수 있게 했습니다. 그러나 불규칙하게 분포된 커널의 차별화 가능한 광선 캐스팅은 잘 탐구되지 않았으며, 스플래팅은 빠른 렌더링 시간을 제공하지만 명확히 보이는 아티팩트에 취약합니다. 저희 연구는 이 간극을 메워, 가우시안 함수로 분해된 방출 광도 c와 밀도 σ을 위해 구 형태 가우시안/하모닉과 연관된 방법을 제공함으로써 물리적으로 일관된 공식을 제시합니다. 또한, 불규칙하게 분포된 가우시안의 차별화 가능한 광선 캐스팅을 가능하게 하는 방법을 소개합니다. 이 방법은 광도 필드를 슬랩 단위로 통합하고 BVH 구조를 활용하여 장면에 섬세하게 적응할 수 있도록 합니다. 결과적으로, Blender 데이터셋에서 초당 25프레임의 추론 속도를 달성하면서 최신 기술과 비교하여 우수한 렌더링 품질을 달성합니다. 비디오와 코드가 있는 프로젝트 페이지: https://raygauss.github.io/

English

Differentiable volumetric rendering-based methods made significant progress in novel view synthesis. On one hand, innovative methods have replaced the Neural Radiance Fields (NeRF) network with locally parameterized structures, enabling high-quality renderings in a reasonable time. On the other hand, approaches have used differentiable splatting instead of NeRF's ray casting to optimize radiance fields rapidly using Gaussian kernels, allowing for fine adaptation to the scene. However, differentiable ray casting of irregularly spaced kernels has been scarcely explored, while splatting, despite enabling fast rendering times, is susceptible to clearly visible artifacts. Our work closes this gap by providing a physically consistent formulation of the emitted radiance c and density {\sigma}, decomposed with Gaussian functions associated with Spherical Gaussians/Harmonics for all-frequency colorimetric representation. We also introduce a method enabling differentiable ray casting of irregularly distributed Gaussians using an algorithm that integrates radiance fields slab by slab and leverages a BVH structure. This allows our approach to finely adapt to the scene while avoiding splatting artifacts. As a result, we achieve superior rendering quality compared to the state-of-the-art while maintaining reasonable training times and achieving inference speeds of 25 FPS on the Blender dataset. Project page with videos and code: https://raygauss.github.io/