BoostMVSNeRFs: 大規模シーンにおける一般化可能なビュー合成のためのMVSベースNeRFの強化

BoostMVSNeRFs: Boosting MVS-based NeRFs to Generalizable View Synthesis in Large-scale Scenes

July 22, 2024

著者: Chih-Hai Su, Chih-Yao Hu, Shr-Ruei Tsai, Jie-Ying Lee, Chin-Yang Lin, Yu-Lun Liu

cs.AI

要旨

ニューラルラジアンスフィールド（NeRF）は優れた品質を実証しているものの、その長時間に及ぶ学習時間が依然として課題となっています。一般化可能なMVSベースのNeRFは学習時間を短縮できるものの、品質面でのトレードオフが生じることが多いです。本論文では、大規模シーンにおけるMVSベースNeRFのレンダリング品質を向上させる新たなアプローチ「BoostMVSNeRF」を提案します。まず、MVSベースNeRF手法の制約、例えば視点カバレッジの制限や入力ビューの不足によるアーティファクトなどを特定します。次に、これらの制約を解決するため、ボリュームレンダリング中に複数のコストボリュームを選択・結合する新手法を提案します。本手法は学習を必要とせず、フィードフォワード方式で任意のMVSベースNeRF手法に適用可能であり、レンダリング品質を向上させます。さらに、本アプローチはエンドツーエンドで学習可能であり、特定シーンでの微調整も行えます。大規模データセットを用いた実験を通じて、本手法の有効性を実証し、大規模シーンや無境界の屋外シナリオにおけるレンダリング品質の大幅な向上を示します。BoostMVSNeRFのソースコードはhttps://su-terry.github.io/BoostMVSNeRFs/で公開しています。

English

While Neural Radiance Fields (NeRFs) have demonstrated exceptional quality, their protracted training duration remains a limitation. Generalizable and MVS-based NeRFs, although capable of mitigating training time, often incur tradeoffs in quality. This paper presents a novel approach called BoostMVSNeRFs to enhance the rendering quality of MVS-based NeRFs in large-scale scenes. We first identify limitations in MVS-based NeRF methods, such as restricted viewport coverage and artifacts due to limited input views. Then, we address these limitations by proposing a new method that selects and combines multiple cost volumes during volume rendering. Our method does not require training and can adapt to any MVS-based NeRF methods in a feed-forward fashion to improve rendering quality. Furthermore, our approach is also end-to-end trainable, allowing fine-tuning on specific scenes. We demonstrate the effectiveness of our method through experiments on large-scale datasets, showing significant rendering quality improvements in large-scale scenes and unbounded outdoor scenarios. We release the source code of BoostMVSNeRFs at https://su-terry.github.io/BoostMVSNeRFs/.