Extrapolation de Vue Novelle avec des Priorités de Diffusion Vidéo

Novel View Extrapolation with Video Diffusion Priors

November 21, 2024

Auteurs: Kunhao Liu, Ling Shao, Shijian Lu

cs.AI

Résumé

Le domaine de la synthèse de nouvelles vues a fait des progrès significatifs grâce au développement des méthodes de champ de radiance. Cependant, la plupart des techniques de champ de radiance sont bien meilleures pour l'interpolation de nouvelles vues que pour l'extrapolation de nouvelles vues où les vues synthétisées sont bien au-delà des vues d'entraînement observées. Nous concevons ViewExtrapolator, une approche de synthèse de nouvelles vues qui exploite les prédictions génératives de la Diffusion Vidéo Stable (SVD) pour une extrapolation réaliste de nouvelles vues. En retravaillant le processus de débruitage SVD, ViewExtrapolator affine les vues sujettes aux artefacts rendues par les champs de radiance, améliorant considérablement la clarté et le réalisme des nouvelles vues synthétisées. ViewExtrapolator est un extrapolateur de nouvelles vues générique qui peut fonctionner avec différents types de rendus 3D tels que des vues rendues à partir de nuages de points lorsque seule une vue ou une vidéo monoculaire est disponible. De plus, ViewExtrapolator ne nécessite aucun réglage fin de la SVD, le rendant à la fois efficace en termes de données et de calcul. Des expériences approfondies démontrent la supériorité de ViewExtrapolator en matière d'extrapolation de nouvelles vues. Page du projet : https://kunhao-liu.github.io/ViewExtrapolator/.

English

The field of novel view synthesis has made significant strides thanks to the development of radiance field methods. However, most radiance field techniques are far better at novel view interpolation than novel view extrapolation where the synthesis novel views are far beyond the observed training views. We design ViewExtrapolator, a novel view synthesis approach that leverages the generative priors of Stable Video Diffusion (SVD) for realistic novel view extrapolation. By redesigning the SVD denoising process, ViewExtrapolator refines the artifact-prone views rendered by radiance fields, greatly enhancing the clarity and realism of the synthesized novel views. ViewExtrapolator is a generic novel view extrapolator that can work with different types of 3D rendering such as views rendered from point clouds when only a single view or monocular video is available. Additionally, ViewExtrapolator requires no fine-tuning of SVD, making it both data-efficient and computation-efficient. Extensive experiments demonstrate the superiority of ViewExtrapolator in novel view extrapolation. Project page: https://kunhao-liu.github.io/ViewExtrapolator/.