BoostMVSNeRFs: Impulsando los NeRFs basados en MVS para la Síntesis de Vistas Generalizable en Escenas a Gran Escala

BoostMVSNeRFs: Boosting MVS-based NeRFs to Generalizable View Synthesis in Large-scale Scenes

July 22, 2024

Autores: Chih-Hai Su, Chih-Yao Hu, Shr-Ruei Tsai, Jie-Ying Lee, Chin-Yang Lin, Yu-Lun Liu

cs.AI

Resumen

Aunque los Campos de Radiancia Neurales (NeRFs) han demostrado una calidad excepcional, su prolongada duración de entrenamiento sigue siendo una limitación. Los NeRFs generalizables basados en MVS, aunque capaces de mitigar el tiempo de entrenamiento, a menudo incurren en compensaciones en calidad. Este artículo presenta un enfoque novedoso llamado BoostMVSNeRFs para mejorar la calidad de renderizado de NeRFs basados en MVS en escenas a gran escala. Identificamos primero limitaciones en los métodos de NeRF basados en MVS, como la cobertura restringida del viewport y artefactos debido a vistas de entrada limitadas. Luego, abordamos estas limitaciones proponiendo un nuevo método que selecciona y combina múltiples volúmenes de coste durante el renderizado de volumen. Nuestro método no requiere entrenamiento y puede adaptarse a cualquier método de NeRF basado en MVS de manera feed-forward para mejorar la calidad de renderizado. Además, nuestro enfoque también es entrenable de extremo a extremo, permitiendo el ajuste fino en escenas específicas. Demostramos la efectividad de nuestro método a través de experimentos en conjuntos de datos a gran escala, mostrando mejoras significativas en la calidad de renderizado en escenas a gran escala y escenarios exteriores ilimitados. Publicamos el código fuente de BoostMVSNeRFs en https://su-terry.github.io/BoostMVSNeRFs/.

English

While Neural Radiance Fields (NeRFs) have demonstrated exceptional quality, their protracted training duration remains a limitation. Generalizable and MVS-based NeRFs, although capable of mitigating training time, often incur tradeoffs in quality. This paper presents a novel approach called BoostMVSNeRFs to enhance the rendering quality of MVS-based NeRFs in large-scale scenes. We first identify limitations in MVS-based NeRF methods, such as restricted viewport coverage and artifacts due to limited input views. Then, we address these limitations by proposing a new method that selects and combines multiple cost volumes during volume rendering. Our method does not require training and can adapt to any MVS-based NeRF methods in a feed-forward fashion to improve rendering quality. Furthermore, our approach is also end-to-end trainable, allowing fine-tuning on specific scenes. We demonstrate the effectiveness of our method through experiments on large-scale datasets, showing significant rendering quality improvements in large-scale scenes and unbounded outdoor scenarios. We release the source code of BoostMVSNeRFs at https://su-terry.github.io/BoostMVSNeRFs/.