Extrapolação de Novas Visualizações com Priors de Difusão de Vídeo

Novel View Extrapolation with Video Diffusion Priors

November 21, 2024

Autores: Kunhao Liu, Ling Shao, Shijian Lu

cs.AI

Resumo

O campo da síntese de novos pontos de vista avançou significativamente graças ao desenvolvimento de métodos de campo de radiância. No entanto, a maioria das técnicas de campo de radiância são muito melhores na interpolação de novos pontos de vista do que na extrapolação de novos pontos de vista, onde os pontos de vista sintetizados estão muito além dos pontos de vista de treinamento observados. Nós projetamos o ViewExtrapolator, uma abordagem de síntese de novos pontos de vista que aproveita os precursores generativos da Difusão de Vídeo Estável (SVD) para uma extrapolação realista de novos pontos de vista. Ao redesenhar o processo de redução de ruído do SVD, o ViewExtrapolator aprimora as visualizações propensas a artefatos renderizadas pelos campos de radiância, melhorando significativamente a clareza e o realismo dos novos pontos de vista sintetizados. O ViewExtrapolator é um extrapolidor genérico de novos pontos de vista que pode funcionar com diferentes tipos de renderização 3D, como visualizações renderizadas a partir de nuvens de pontos quando apenas um único ponto de vista ou vídeo monocular está disponível. Além disso, o ViewExtrapolator não requer ajustes finos do SVD, tornando-o eficiente em dados e em computação. Experimentos extensos demonstram a superioridade do ViewExtrapolator na extrapolação de novos pontos de vista. Página do projeto: https://kunhao-liu.github.io/ViewExtrapolator/.

English

The field of novel view synthesis has made significant strides thanks to the development of radiance field methods. However, most radiance field techniques are far better at novel view interpolation than novel view extrapolation where the synthesis novel views are far beyond the observed training views. We design ViewExtrapolator, a novel view synthesis approach that leverages the generative priors of Stable Video Diffusion (SVD) for realistic novel view extrapolation. By redesigning the SVD denoising process, ViewExtrapolator refines the artifact-prone views rendered by radiance fields, greatly enhancing the clarity and realism of the synthesized novel views. ViewExtrapolator is a generic novel view extrapolator that can work with different types of 3D rendering such as views rendered from point clouds when only a single view or monocular video is available. Additionally, ViewExtrapolator requires no fine-tuning of SVD, making it both data-efficient and computation-efficient. Extensive experiments demonstrate the superiority of ViewExtrapolator in novel view extrapolation. Project page: https://kunhao-liu.github.io/ViewExtrapolator/.