Nieuwe Weergave-Extrapolatie met Video Diffusie Priors

Novel View Extrapolation with Video Diffusion Priors

November 21, 2024

Auteurs: Kunhao Liu, Ling Shao, Shijian Lu

cs.AI

Samenvatting

Het veld van nieuwe zichtsynthese heeft aanzienlijke vooruitgang geboekt dankzij de ontwikkeling van stralingsveldmethoden. Echter, de meeste stralingsveldtechnieken zijn veel beter in nieuwe zichtinterpolatie dan in nieuwe zichtextrapolatie, waarbij de gesynthetiseerde nieuwe zichten ver buiten de waargenomen trainingszichten liggen. We hebben ViewExtrapolator ontworpen, een nieuwe zichtsynthesebenadering die gebruikmaakt van de generatieve prior van Stable Video Diffusion (SVD) voor realistische nieuwe zichtextrapolatie. Door het SVD-ruisverwijderingsproces opnieuw vorm te geven, verfijnt ViewExtrapolator de met artefacten beladen zichten die worden gerenderd door stralingsvelden, waardoor de helderheid en realisme van de gesynthetiseerde nieuwe zichten aanzienlijk worden verbeterd. ViewExtrapolator is een generieke nieuwe zichtextrapolator die kan werken met verschillende soorten 3D-rendering, zoals zichten gerenderd vanuit puntwolken wanneer slechts één zicht of monoculair video beschikbaar is. Bovendien vereist ViewExtrapolator geen fijnafstemming van SVD, waardoor het zowel data-efficiënt als rekenkundig efficiënt is. Uitgebreide experimenten tonen de superioriteit van ViewExtrapolator in nieuwe zichtextrapolatie aan. Projectpagina: https://kunhao-liu.github.io/ViewExtrapolator/.

English

The field of novel view synthesis has made significant strides thanks to the development of radiance field methods. However, most radiance field techniques are far better at novel view interpolation than novel view extrapolation where the synthesis novel views are far beyond the observed training views. We design ViewExtrapolator, a novel view synthesis approach that leverages the generative priors of Stable Video Diffusion (SVD) for realistic novel view extrapolation. By redesigning the SVD denoising process, ViewExtrapolator refines the artifact-prone views rendered by radiance fields, greatly enhancing the clarity and realism of the synthesized novel views. ViewExtrapolator is a generic novel view extrapolator that can work with different types of 3D rendering such as views rendered from point clouds when only a single view or monocular video is available. Additionally, ViewExtrapolator requires no fine-tuning of SVD, making it both data-efficient and computation-efficient. Extensive experiments demonstrate the superiority of ViewExtrapolator in novel view extrapolation. Project page: https://kunhao-liu.github.io/ViewExtrapolator/.