BoostMVSNeRFs: Steigerung von MVS-basierten NeRFs zur generalisierbaren Ansichtssynthese in groß angelegten Szenen

BoostMVSNeRFs: Boosting MVS-based NeRFs to Generalizable View Synthesis in Large-scale Scenes

July 22, 2024

Autoren: Chih-Hai Su, Chih-Yao Hu, Shr-Ruei Tsai, Jie-Ying Lee, Chin-Yang Lin, Yu-Lun Liu

cs.AI

Zusammenfassung

Obwohl Neural Radiance Fields (NeRFs) eine außergewöhnliche Qualität gezeigt haben, bleibt ihre langwierige Trainingsdauer eine Einschränkung. Generalisierbare und MVS-basierte NeRFs, obwohl sie in der Lage sind, die Trainingszeit zu verringern, gehen oft mit Qualitätskompromissen einher. Dieses Paper stellt einen neuartigen Ansatz namens BoostMVSNeRFs vor, um die Rendering-Qualität von MVS-basierten NeRFs in großangelegten Szenen zu verbessern. Zunächst identifizieren wir Einschränkungen in MVS-basierten NeRF-Methoden, wie eingeschränkte Viewport-Abdeckung und Artefakte aufgrund begrenzter Eingangsansichten. Anschließend beheben wir diese Einschränkungen, indem wir eine neue Methode vorschlagen, die während des Volumen-Renderings mehrere Kosten-Volumina auswählt und kombiniert. Unsere Methode erfordert kein Training und kann sich in feed-forward Manier an jede MVS-basierte NeRF-Methode anpassen, um die Rendering-Qualität zu verbessern. Darüber hinaus ist unser Ansatz auch end-to-end trainierbar, was Feinabstimmungen auf spezifischen Szenen ermöglicht. Wir zeigen die Wirksamkeit unserer Methode durch Experimente an großangelegten Datensätzen, die signifikante Verbesserungen der Rendering-Qualität in großangelegten Szenen und unbegrenzten Outdoor-Szenarien aufzeigen. Wir veröffentlichen den Quellcode von BoostMVSNeRFs unter https://su-terry.github.io/BoostMVSNeRFs/.

English

While Neural Radiance Fields (NeRFs) have demonstrated exceptional quality, their protracted training duration remains a limitation. Generalizable and MVS-based NeRFs, although capable of mitigating training time, often incur tradeoffs in quality. This paper presents a novel approach called BoostMVSNeRFs to enhance the rendering quality of MVS-based NeRFs in large-scale scenes. We first identify limitations in MVS-based NeRF methods, such as restricted viewport coverage and artifacts due to limited input views. Then, we address these limitations by proposing a new method that selects and combines multiple cost volumes during volume rendering. Our method does not require training and can adapt to any MVS-based NeRF methods in a feed-forward fashion to improve rendering quality. Furthermore, our approach is also end-to-end trainable, allowing fine-tuning on specific scenes. We demonstrate the effectiveness of our method through experiments on large-scale datasets, showing significant rendering quality improvements in large-scale scenes and unbounded outdoor scenarios. We release the source code of BoostMVSNeRFs at https://su-terry.github.io/BoostMVSNeRFs/.