BoostMVSNeRFs: 대규모 장면에서 일반화 가능한 뷰 합성을 위한 MVS 기반 NeRFs 향상

BoostMVSNeRFs: Boosting MVS-based NeRFs to Generalizable View Synthesis in Large-scale Scenes

July 22, 2024

저자: Chih-Hai Su, Chih-Yao Hu, Shr-Ruei Tsai, Jie-Ying Lee, Chin-Yang Lin, Yu-Lun Liu

cs.AI

초록

Neural Radiance Fields(NeRFs)는 뛰어난 품질을 보여주었지만, 긴 학습 시간은 여전히 한계로 남아 있습니다. 일반화 가능한 MVS(다중 시점 스테레오) 기반 NeRFs는 학습 시간을 단축할 수 있지만, 종종 품질 측면에서 타협을 요구합니다. 본 논문은 대규모 장면에서 MVS 기반 NeRFs의 렌더링 품질을 향상시키기 위한 새로운 접근 방식인 BoostMVSNeRFs를 제안합니다. 먼저, MVS 기반 NeRF 방법의 한계점, 예를 들어 제한된 시점 범위와 적은 입력 뷰로 인한 아티팩트 등을 식별합니다. 그런 다음, 볼륨 렌더링 과정에서 다중 비용 볼륨(cost volume)을 선택하고 결합하는 새로운 방법을 제안하여 이러한 한계를 해결합니다. 우리의 방법은 학습이 필요하지 않으며, 피드포워드 방식으로 모든 MVS 기반 NeRF 방법에 적용 가능하여 렌더링 품질을 개선할 수 있습니다. 또한, 이 접근법은 엔드투엔드 학습이 가능하여 특정 장면에 대한 미세 조정도 가능합니다. 대규모 데이터셋에 대한 실험을 통해 대규모 장면과 무한한 야외 시나리오에서 렌더링 품질이 크게 향상됨을 입증합니다. BoostMVSNeRFs의 소스 코드는 https://su-terry.github.io/BoostMVSNeRFs/에서 공개합니다.

English

While Neural Radiance Fields (NeRFs) have demonstrated exceptional quality, their protracted training duration remains a limitation. Generalizable and MVS-based NeRFs, although capable of mitigating training time, often incur tradeoffs in quality. This paper presents a novel approach called BoostMVSNeRFs to enhance the rendering quality of MVS-based NeRFs in large-scale scenes. We first identify limitations in MVS-based NeRF methods, such as restricted viewport coverage and artifacts due to limited input views. Then, we address these limitations by proposing a new method that selects and combines multiple cost volumes during volume rendering. Our method does not require training and can adapt to any MVS-based NeRF methods in a feed-forward fashion to improve rendering quality. Furthermore, our approach is also end-to-end trainable, allowing fine-tuning on specific scenes. We demonstrate the effectiveness of our method through experiments on large-scale datasets, showing significant rendering quality improvements in large-scale scenes and unbounded outdoor scenarios. We release the source code of BoostMVSNeRFs at https://su-terry.github.io/BoostMVSNeRFs/.