RadSplat: 강건한 실시간 렌더링을 위한 방사 필드 기반 가우시안 스플래팅, 900+ FPS

RadSplat: Radiance Field-Informed Gaussian Splatting for Robust Real-Time Rendering with 900+ FPS

March 20, 2024

저자: Michael Niemeyer, Fabian Manhardt, Marie-Julie Rakotosaona, Michael Oechsle, Daniel Duckworth, Rama Gosula, Keisuke Tateno, John Bates, Dominik Kaeser, Federico Tombari

cs.AI

초록

최근 뷰 합성과 실시간 렌더링 분야에서의 발전은 인상적인 렌더링 속도로 사진처럼 사실적인 품질을 달성했습니다. Radiance Field 기반 방법들은 야외 촬영이나 대규모 장면과 같은 도전적인 시나리오에서 최첨단 품질을 달성하지만, 부피 렌더링과 관련된 과도한 계산 요구량으로 인해 어려움을 겪는 경우가 많습니다. 반면, Gaussian Splatting 기반 방법들은 래스터화에 의존하며 자연스럽게 실시간 렌더링을 달성하지만, 더 도전적인 장면에서는 취약한 최적화 휴리스틱으로 인해 성능이 저하됩니다. 본 연구에서는 복잡한 장면의 견고한 실시간 렌더링을 위한 경량화된 방법인 RadSplat을 제안합니다. 우리의 주요 기여는 세 가지입니다. 첫째, Radiance Field를 사전 정보 및 감독 신호로 사용하여 포인트 기반 장면 표현을 최적화함으로써 품질을 개선하고 더 견고한 최적화를 달성했습니다. 둘째, 고품질을 유지하면서 전체 포인트 수를 줄이는 새로운 가지치기 기법을 개발하여 더 작고 간결한 장면 표현과 더 빠른 추론 속도를 이끌어냈습니다. 마지막으로, 렌더링을 더욱 가속화하고 주택 크기의 더 큰 장면으로 확장할 수 있는 새로운 테스트 시간 필터링 접근 방식을 제안했습니다. 우리의 방법은 900 FPS 이상의 속도로 복잡한 촬영 장면의 최첨단 합성을 가능하게 한다는 것을 발견했습니다.

English

Recent advances in view synthesis and real-time rendering have achieved photorealistic quality at impressive rendering speeds. While Radiance Field-based methods achieve state-of-the-art quality in challenging scenarios such as in-the-wild captures and large-scale scenes, they often suffer from excessively high compute requirements linked to volumetric rendering. Gaussian Splatting-based methods, on the other hand, rely on rasterization and naturally achieve real-time rendering but suffer from brittle optimization heuristics that underperform on more challenging scenes. In this work, we present RadSplat, a lightweight method for robust real-time rendering of complex scenes. Our main contributions are threefold. First, we use radiance fields as a prior and supervision signal for optimizing point-based scene representations, leading to improved quality and more robust optimization. Next, we develop a novel pruning technique reducing the overall point count while maintaining high quality, leading to smaller and more compact scene representations with faster inference speeds. Finally, we propose a novel test-time filtering approach that further accelerates rendering and allows to scale to larger, house-sized scenes. We find that our method enables state-of-the-art synthesis of complex captures at 900+ FPS.