BoostMVSNeRFs: Potenziamento delle NeRF basate su MVS per la Sintesi Generalizzabile di Viste in Scenari su Grande Scala

BoostMVSNeRFs: Boosting MVS-based NeRFs to Generalizable View Synthesis in Large-scale Scenes

July 22, 2024

Autori: Chih-Hai Su, Chih-Yao Hu, Shr-Ruei Tsai, Jie-Ying Lee, Chin-Yang Lin, Yu-Lun Liu

cs.AI

Abstract

Sebbene i Neural Radiance Fields (NeRF) abbiano dimostrato una qualità eccezionale, la loro prolungata durata di addestramento rimane un limite. I NeRF generalizzabili e basati su MVS, sebbene in grado di ridurre il tempo di addestramento, spesso comportano compromessi in termini di qualità. Questo articolo presenta un nuovo approccio chiamato BoostMVSNeRF per migliorare la qualità di rendering dei NeRF basati su MVS in scene su larga scala. Inizialmente, identifichiamo i limiti dei metodi NeRF basati su MVS, come la copertura limitata del viewport e gli artefatti dovuti a un numero ridotto di viste di input. Successivamente, affrontiamo questi limiti proponendo un nuovo metodo che seleziona e combina più volumi di costo durante il rendering volumetrico. Il nostro metodo non richiede addestramento e può adattarsi a qualsiasi metodo NeRF basato su MVS in modo feed-forward per migliorare la qualità del rendering. Inoltre, il nostro approccio è anche addestrabile end-to-end, consentendo la messa a punto su scene specifiche. Dimostriamo l'efficacia del nostro metodo attraverso esperimenti su dataset su larga scala, mostrando significativi miglioramenti nella qualità del rendering in scene su larga scala e scenari esterni illimitati. Rilasciamo il codice sorgente di BoostMVSNeRF all'indirizzo https://su-terry.github.io/BoostMVSNeRFs/.

English

While Neural Radiance Fields (NeRFs) have demonstrated exceptional quality, their protracted training duration remains a limitation. Generalizable and MVS-based NeRFs, although capable of mitigating training time, often incur tradeoffs in quality. This paper presents a novel approach called BoostMVSNeRFs to enhance the rendering quality of MVS-based NeRFs in large-scale scenes. We first identify limitations in MVS-based NeRF methods, such as restricted viewport coverage and artifacts due to limited input views. Then, we address these limitations by proposing a new method that selects and combines multiple cost volumes during volume rendering. Our method does not require training and can adapt to any MVS-based NeRF methods in a feed-forward fashion to improve rendering quality. Furthermore, our approach is also end-to-end trainable, allowing fine-tuning on specific scenes. We demonstrate the effectiveness of our method through experiments on large-scale datasets, showing significant rendering quality improvements in large-scale scenes and unbounded outdoor scenarios. We release the source code of BoostMVSNeRFs at https://su-terry.github.io/BoostMVSNeRFs/.