BoostMVSNeRFs: Impulsionando NeRFs baseados em MVS para Síntese de Visualizações Generalizáveis em Cenas em Grande Escala

BoostMVSNeRFs: Boosting MVS-based NeRFs to Generalizable View Synthesis in Large-scale Scenes

July 22, 2024

Autores: Chih-Hai Su, Chih-Yao Hu, Shr-Ruei Tsai, Jie-Ying Lee, Chin-Yang Lin, Yu-Lun Liu

cs.AI

Resumo

Embora os Campos de Radiância Neural (NeRFs) tenham demonstrado uma qualidade excepcional, a duração prolongada do treinamento ainda é uma limitação. NeRFs generalizáveis e baseados em MVS, embora capazes de reduzir o tempo de treinamento, frequentemente acarretam compensações na qualidade. Este artigo apresenta uma abordagem inovadora chamada BoostMVSNeRFs para aprimorar a qualidade de renderização de NeRFs baseados em MVS em cenas em grande escala. Identificamos inicialmente as limitações nos métodos de NeRF baseados em MVS, como cobertura de viewport restrita e artefatos devido a visualizações de entrada limitadas. Em seguida, abordamos essas limitações propondo um novo método que seleciona e combina múltiplos volumes de custo durante a renderização de volume. Nosso método não requer treinamento e pode se adaptar a quaisquer métodos de NeRF baseados em MVS de forma direta para melhorar a qualidade de renderização. Além disso, nossa abordagem também é treinável de ponta a ponta, permitindo o ajuste fino em cenas específicas. Demonstramos a eficácia de nosso método por meio de experimentos em conjuntos de dados em grande escala, mostrando melhorias significativas na qualidade de renderização em cenas em grande escala e cenários externos ilimitados. Disponibilizamos o código-fonte do BoostMVSNeRFs em https://su-terry.github.io/BoostMVSNeRFs/.

English

While Neural Radiance Fields (NeRFs) have demonstrated exceptional quality, their protracted training duration remains a limitation. Generalizable and MVS-based NeRFs, although capable of mitigating training time, often incur tradeoffs in quality. This paper presents a novel approach called BoostMVSNeRFs to enhance the rendering quality of MVS-based NeRFs in large-scale scenes. We first identify limitations in MVS-based NeRF methods, such as restricted viewport coverage and artifacts due to limited input views. Then, we address these limitations by proposing a new method that selects and combines multiple cost volumes during volume rendering. Our method does not require training and can adapt to any MVS-based NeRF methods in a feed-forward fashion to improve rendering quality. Furthermore, our approach is also end-to-end trainable, allowing fine-tuning on specific scenes. We demonstrate the effectiveness of our method through experiments on large-scale datasets, showing significant rendering quality improvements in large-scale scenes and unbounded outdoor scenarios. We release the source code of BoostMVSNeRFs at https://su-terry.github.io/BoostMVSNeRFs/.