Extrapolación de Vistas Noveles con Priors de Difusión de Video

Novel View Extrapolation with Video Diffusion Priors

November 21, 2024

Autores: Kunhao Liu, Ling Shao, Shijian Lu

cs.AI

Resumen

El campo de la síntesis de vistas novedosas ha avanzado significativamente gracias al desarrollo de métodos de campo de radiación. Sin embargo, la mayoría de las técnicas de campo de radiación son mucho mejores en la interpolación de vistas novedosas que en la extrapolarización de vistas novedosas, donde las vistas novedosas sintetizadas están mucho más allá de las vistas de entrenamiento observadas. Diseñamos ViewExtrapolator, un enfoque de síntesis de vistas novedosas que aprovecha los conocimientos previos generativos de la Difusión de Video Estable (SVD) para una extrapolarización realista de vistas novedosas. Al rediseñar el proceso de eliminación de ruido de SVD, ViewExtrapolator perfecciona las vistas propensas a artefactos renderizadas por campos de radiación, mejorando en gran medida la claridad y realismo de las vistas novedosas sintetizadas. ViewExtrapolator es un extrapolarizador de vistas novedosas genérico que puede funcionar con diferentes tipos de renderizado 3D, como vistas renderizadas a partir de nubes de puntos cuando solo está disponible una vista única o un video monocular. Además, ViewExtrapolator no requiere ajustes finos de SVD, lo que lo hace tanto eficiente en datos como en computación. Experimentos extensos demuestran la superioridad de ViewExtrapolator en la extrapolarización de vistas novedosas. Página del proyecto: https://kunhao-liu.github.io/ViewExtrapolator/.

English

The field of novel view synthesis has made significant strides thanks to the development of radiance field methods. However, most radiance field techniques are far better at novel view interpolation than novel view extrapolation where the synthesis novel views are far beyond the observed training views. We design ViewExtrapolator, a novel view synthesis approach that leverages the generative priors of Stable Video Diffusion (SVD) for realistic novel view extrapolation. By redesigning the SVD denoising process, ViewExtrapolator refines the artifact-prone views rendered by radiance fields, greatly enhancing the clarity and realism of the synthesized novel views. ViewExtrapolator is a generic novel view extrapolator that can work with different types of 3D rendering such as views rendered from point clouds when only a single view or monocular video is available. Additionally, ViewExtrapolator requires no fine-tuning of SVD, making it both data-efficient and computation-efficient. Extensive experiments demonstrate the superiority of ViewExtrapolator in novel view extrapolation. Project page: https://kunhao-liu.github.io/ViewExtrapolator/.