TRIPS: 실시간 방사 필드 렌더링을 위한 삼선형 포인트 스플래팅
TRIPS: Trilinear Point Splatting for Real-Time Radiance Field Rendering
January 11, 2024
저자: Linus Franke, Darius Rückert, Laura Fink, Marc Stamminger
cs.AI
초록
포인트 기반 광도 필드 렌더링은 새로운 시점 합성에서 인상적인 결과를 보여주며, 렌더링 품질과 계산 효율성의 매력적인 조합을 제공합니다. 그러나 이 분야의 최신 접근법들도 단점이 없지는 않습니다. 3D 가우시안 스플래팅[Kerbl and Kopanas et al. 2023]은 매우 디테일한 장면을 렌더링할 때 흐림 현상과 구름 같은 아티팩트로 인해 어려움을 겪습니다. 반면, ADOP[Rückert et al. 2022]는 더 선명한 이미지를 처리할 수 있지만, 신경망 재구성 네트워크가 성능을 저하시키고, 시간적 불안정성을 겪으며, 포인트 클라우드의 큰 간격을 효과적으로 해결하지 못합니다.
이 논문에서 우리는 가우시안 스플래팅과 ADOP의 아이디어를 결합한 TRIPS(Trilinear Point Splatting) 접근법을 제시합니다. 우리의 새로운 기술의 기본 개념은 투영된 포인트 크기에 따라 결정된 스크린 공간 이미지 피라미드로 포인트를 래스터화하는 것입니다. 이 접근법은 단일 삼선형 쓰기를 사용하여 임의로 큰 포인트를 렌더링할 수 있게 합니다. 그런 다음 경량 신경망을 사용하여 스플래트 해상도를 넘어서는 디테일을 포함한 구멍 없는 이미지를 재구성합니다. 중요한 것은, 우리의 렌더링 파이프라인이 완전히 미분 가능하여 포인트 크기와 위치 모두를 자동으로 최적화할 수 있다는 점입니다.
우리의 평가 결과, TRIPS는 기존의 최신 방법들을 렌더링 품질 측면에서 능가하면서도 일반적으로 사용 가능한 하드웨어에서 실시간 프레임 속도인 초당 60프레임을 유지합니다. 이 성능은 복잡한 기하학, 광활한 풍경, 자동 노출 영상과 같은 도전적인 시나리오에서도 확장됩니다.
English
Point-based radiance field rendering has demonstrated impressive results for
novel view synthesis, offering a compelling blend of rendering quality and
computational efficiency. However, also latest approaches in this domain are
not without their shortcomings. 3D Gaussian Splatting [Kerbl and Kopanas et al.
2023] struggles when tasked with rendering highly detailed scenes, due to
blurring and cloudy artifacts. On the other hand, ADOP [R\"uckert et al. 2022]
can accommodate crisper images, but the neural reconstruction network decreases
performance, it grapples with temporal instability and it is unable to
effectively address large gaps in the point cloud.
In this paper, we present TRIPS (Trilinear Point Splatting), an approach that
combines ideas from both Gaussian Splatting and ADOP. The fundamental concept
behind our novel technique involves rasterizing points into a screen-space
image pyramid, with the selection of the pyramid layer determined by the
projected point size. This approach allows rendering arbitrarily large points
using a single trilinear write. A lightweight neural network is then used to
reconstruct a hole-free image including detail beyond splat resolution.
Importantly, our render pipeline is entirely differentiable, allowing for
automatic optimization of both point sizes and positions.
Our evaluation demonstrate that TRIPS surpasses existing state-of-the-art
methods in terms of rendering quality while maintaining a real-time frame rate
of 60 frames per second on readily available hardware. This performance extends
to challenging scenarios, such as scenes featuring intricate geometry,
expansive landscapes, and auto-exposed footage.