BoostMVSNeRFs: Het Versterken van MVS-gebaseerde NeRFs voor Generaliseerbare Beeldsynthese in Grootschalige Scènes

BoostMVSNeRFs: Boosting MVS-based NeRFs to Generalizable View Synthesis in Large-scale Scenes

July 22, 2024

Auteurs: Chih-Hai Su, Chih-Yao Hu, Shr-Ruei Tsai, Jie-Ying Lee, Chin-Yang Lin, Yu-Lun Liu

cs.AI

Samenvatting

Hoewel Neural Radiance Fields (NeRFs) een uitzonderlijke kwaliteit hebben laten zien, blijft hun langdurige trainingstijd een beperking. Generaliseerbare en op MVS gebaseerde NeRFs kunnen de trainingstijd weliswaar verkorten, maar gaan vaak ten koste van de kwaliteit. Dit artikel presenteert een nieuwe aanpak genaamd BoostMVSNeRFs om de renderkwaliteit van op MVS gebaseerde NeRFs in grootschalige scènes te verbeteren. We identificeren eerst beperkingen in op MVS gebaseerde NeRF-methoden, zoals beperkte viewportdekking en artefacten door een beperkt aantal invoerweergaven. Vervolgens pakken we deze beperkingen aan door een nieuwe methode voor te stellen die meerdere kostenvolumes selecteert en combineert tijdens volume rendering. Onze methode vereist geen training en kan zich op een feed-forward manier aanpassen aan elke op MVS gebaseerde NeRF-methode om de renderkwaliteit te verbeteren. Bovendien is onze aanpak ook end-to-end trainbaar, waardoor fine-tuning op specifieke scènes mogelijk is. We demonstreren de effectiviteit van onze methode door experimenten op grootschalige datasets, waarbij we aanzienlijke verbeteringen in de renderkwaliteit laten zien in grootschalige scènes en onbegrensde buitenomgevingen. We geven de broncode van BoostMVSNeRFs vrij op https://su-terry.github.io/BoostMVSNeRFs/.

English

While Neural Radiance Fields (NeRFs) have demonstrated exceptional quality, their protracted training duration remains a limitation. Generalizable and MVS-based NeRFs, although capable of mitigating training time, often incur tradeoffs in quality. This paper presents a novel approach called BoostMVSNeRFs to enhance the rendering quality of MVS-based NeRFs in large-scale scenes. We first identify limitations in MVS-based NeRF methods, such as restricted viewport coverage and artifacts due to limited input views. Then, we address these limitations by proposing a new method that selects and combines multiple cost volumes during volume rendering. Our method does not require training and can adapt to any MVS-based NeRF methods in a feed-forward fashion to improve rendering quality. Furthermore, our approach is also end-to-end trainable, allowing fine-tuning on specific scenes. We demonstrate the effectiveness of our method through experiments on large-scale datasets, showing significant rendering quality improvements in large-scale scenes and unbounded outdoor scenarios. We release the source code of BoostMVSNeRFs at https://su-terry.github.io/BoostMVSNeRFs/.