BoostMVSNeRFs: Усиление MVS-основанных NeRF для Обобщаемого Синтеза Видов в Крупномасштабных Сценах

BoostMVSNeRFs: Boosting MVS-based NeRFs to Generalizable View Synthesis in Large-scale Scenes

July 22, 2024

Авторы: Chih-Hai Su, Chih-Yao Hu, Shr-Ruei Tsai, Jie-Ying Lee, Chin-Yang Lin, Yu-Lun Liu

cs.AI

Аннотация

Хотя нейронные поля радиантности (NeRF) продемонстрировали исключительное качество, их длительное время обучения остается ограничением. Обобщенные и основанные на многовидовой структуре (MVS) NeRF, хоть и способны сократить время обучения, часто приводят к компромиссам в качестве. В данной статье представлен новый подход под названием BoostMVSNeRFs для улучшения качества визуализации MVS-NeRF в крупномасштабных сценах. Сначала мы выявляем ограничения методов MVS-NeRF, такие как ограниченное покрытие области обзора и артефакты из-за ограниченного числа входных видов. Затем мы решаем эти ограничения, предлагая новый метод, который выбирает и объединяет несколько объемных изображений стоимости во время объемной визуализации. Наш метод не требует обучения и может адаптироваться к любым методам MVS-NeRF в прямом проходе для улучшения качества визуализации. Более того, наш подход также обучаем на конечных данных, что позволяет настраивать его на конкретные сцены. Мы демонстрируем эффективность нашего метода через эксперименты на крупномасштабных наборах данных, показывая значительное улучшение качества визуализации в крупномасштабных сценах и неограниченных наружных сценариях. Мы выкладываем исходный код BoostMVSNeRFs по адресу https://su-terry.github.io/BoostMVSNeRFs/.

English

While Neural Radiance Fields (NeRFs) have demonstrated exceptional quality, their protracted training duration remains a limitation. Generalizable and MVS-based NeRFs, although capable of mitigating training time, often incur tradeoffs in quality. This paper presents a novel approach called BoostMVSNeRFs to enhance the rendering quality of MVS-based NeRFs in large-scale scenes. We first identify limitations in MVS-based NeRF methods, such as restricted viewport coverage and artifacts due to limited input views. Then, we address these limitations by proposing a new method that selects and combines multiple cost volumes during volume rendering. Our method does not require training and can adapt to any MVS-based NeRF methods in a feed-forward fashion to improve rendering quality. Furthermore, our approach is also end-to-end trainable, allowing fine-tuning on specific scenes. We demonstrate the effectiveness of our method through experiments on large-scale datasets, showing significant rendering quality improvements in large-scale scenes and unbounded outdoor scenarios. We release the source code of BoostMVSNeRFs at https://su-terry.github.io/BoostMVSNeRFs/.