BoostMVSNeRFs : Amélioration des NeRFs basés sur MVS pour la synthèse de vues généralisable dans des scènes à grande échelle

BoostMVSNeRFs: Boosting MVS-based NeRFs to Generalizable View Synthesis in Large-scale Scenes

July 22, 2024

Auteurs: Chih-Hai Su, Chih-Yao Hu, Shr-Ruei Tsai, Jie-Ying Lee, Chin-Yang Lin, Yu-Lun Liu

cs.AI

Résumé

Bien que les champs de radiance neuronaux (NeRFs) aient démontré une qualité exceptionnelle, leur durée d'entraînement prolongée reste une limitation. Les NeRFs généralisables et basés sur la vision stéréoscopique multi-vues (MVS), bien que capables de réduire le temps d'entraînement, entraînent souvent des compromis en termes de qualité. Cet article présente une nouvelle approche appelée BoostMVSNeRFs pour améliorer la qualité de rendu des NeRFs basés sur MVS dans des scènes à grande échelle. Nous identifions d'abord les limitations des méthodes NeRFs basées sur MVS, telles que la couverture limitée des angles de vue et les artefacts dus au nombre restreint de vues en entrée. Ensuite, nous abordons ces limitations en proposant une nouvelle méthode qui sélectionne et combine plusieurs volumes de coûts lors du rendu volumétrique. Notre méthode ne nécessite pas d'entraînement et peut s'adapter à toute méthode NeRF basée sur MVS de manière directe pour améliorer la qualité de rendu. De plus, notre approche est également entraînable de bout en bout, permettant un ajustement fin sur des scènes spécifiques. Nous démontrons l'efficacité de notre méthode à travers des expériences sur des jeux de données à grande échelle, montrant des améliorations significatives de la qualité de rendu dans des scènes à grande échelle et des environnements extérieurs non bornés. Nous publions le code source de BoostMVSNeRFs à l'adresse https://su-terry.github.io/BoostMVSNeRFs/.

English

While Neural Radiance Fields (NeRFs) have demonstrated exceptional quality, their protracted training duration remains a limitation. Generalizable and MVS-based NeRFs, although capable of mitigating training time, often incur tradeoffs in quality. This paper presents a novel approach called BoostMVSNeRFs to enhance the rendering quality of MVS-based NeRFs in large-scale scenes. We first identify limitations in MVS-based NeRF methods, such as restricted viewport coverage and artifacts due to limited input views. Then, we address these limitations by proposing a new method that selects and combines multiple cost volumes during volume rendering. Our method does not require training and can adapt to any MVS-based NeRF methods in a feed-forward fashion to improve rendering quality. Furthermore, our approach is also end-to-end trainable, allowing fine-tuning on specific scenes. We demonstrate the effectiveness of our method through experiments on large-scale datasets, showing significant rendering quality improvements in large-scale scenes and unbounded outdoor scenarios. We release the source code of BoostMVSNeRFs at https://su-terry.github.io/BoostMVSNeRFs/.