ExtraNeRF: Учет видимости при экстраполяции изображения с помощью нейронных поля излучения с моделями диффузии

ExtraNeRF: Visibility-Aware View Extrapolation of Neural Radiance Fields with Diffusion Models

June 10, 2024

Авторы: Meng-Li Shih, Wei-Chiu Ma, Aleksander Holynski, Forrester Cole, Brian L. Curless, Janne Kontkanen

cs.AI

Аннотация

Мы предлагаем ExtraNeRF, новый метод для экстраполяции диапазона видов, обрабатываемых Нейронным полем радиации (NeRF). Наша основная идея заключается в использовании NeRF для моделирования сцен-специфических, мелкозернистых деталей, а также в использовании моделей диффузии для экстраполяции за пределы наших наблюдаемых данных. Ключевым элементом является отслеживание видимости для определения тех частей сцены, которые не были наблюдены, и фокус на реконструкции этих областей согласованно с моделями диффузии. Наши основные вклады включают модуль заполнения на основе диффузии, учитывающий видимость, который донастраивается на входных изображениях, обеспечивая начальное NeRF с умеренным качеством (часто размытыми) заполненными областями, за которым следует вторая модель диффузии, обученная на входных изображениях, для последующего улучшения, в частности, уточнения заполненных изображений с первого прохода. Мы демонстрируем результаты высокого качества, экстраполируя за пределы небольшого количества (обычно шести или менее) входных видов, эффективно превосходя NeRF как в отображении, так и в заполнении новых областей внутри исходного объема просмотра. Мы сравниваем с сопоставимыми работами как количественно, так и качественно, и показываем значительные преимущества по сравнению с предыдущими достижениями.

English

We propose ExtraNeRF, a novel method for extrapolating the range of views handled by a Neural Radiance Field (NeRF). Our main idea is to leverage NeRFs to model scene-specific, fine-grained details, while capitalizing on diffusion models to extrapolate beyond our observed data. A key ingredient is to track visibility to determine what portions of the scene have not been observed, and focus on reconstructing those regions consistently with diffusion models. Our primary contributions include a visibility-aware diffusion-based inpainting module that is fine-tuned on the input imagery, yielding an initial NeRF with moderate quality (often blurry) inpainted regions, followed by a second diffusion model trained on the input imagery to consistently enhance, notably sharpen, the inpainted imagery from the first pass. We demonstrate high-quality results, extrapolating beyond a small number of (typically six or fewer) input views, effectively outpainting the NeRF as well as inpainting newly disoccluded regions inside the original viewing volume. We compare with related work both quantitatively and qualitatively and show significant gains over prior art.