Neuartige Ansichtsextrapolation mit Video-Diffusionsprioritäten

Novel View Extrapolation with Video Diffusion Priors

November 21, 2024

Autoren: Kunhao Liu, Ling Shao, Shijian Lu

cs.AI

Zusammenfassung

Das Gebiet der neuartigen Ansichtssynthese hat dank der Entwicklung von Strahlungsfeldmethoden erhebliche Fortschritte gemacht. Die meisten Strahlungsfeldtechniken sind jedoch weitaus besser in der neuartigen Ansichtsinterpolation als in der neuartigen Ansichtsextrapolation, bei der die synthetisierten neuen Ansichten weit über die beobachteten Trainingsansichten hinausgehen. Wir haben den ViewExtrapolator entworfen, einen neuartigen Ansatz zur Ansichtssynthese, der die generativen Prioritäten der Stable Video Diffusion (SVD) für realistische neuartige Ansichtsextrapolation nutzt. Durch Neugestaltung des SVD-Denoisierungsprozesses verfeinert der ViewExtrapolator die von Strahlungsfeldern gerenderten, anfälligen Ansichten erheblich und verbessert die Klarheit und Realität der synthetisierten neuen Ansichten. Der ViewExtrapolator ist ein generischer neuartiger Ansichtsextrapolator, der mit verschiedenen Arten von 3D-Rendering arbeiten kann, wie Ansichten, die aus Punktwolken gerendert werden, wenn nur eine einzelne Ansicht oder monokulares Video verfügbar ist. Darüber hinaus erfordert der ViewExtrapolator kein Feintuning von SVD, was ihn sowohl daten- als auch recheneffizient macht. Umfangreiche Experimente zeigen die Überlegenheit des ViewExtrapolators bei der neuartigen Ansichtsextrapolation. Projektseite: https://kunhao-liu.github.io/ViewExtrapolator/.

English

The field of novel view synthesis has made significant strides thanks to the development of radiance field methods. However, most radiance field techniques are far better at novel view interpolation than novel view extrapolation where the synthesis novel views are far beyond the observed training views. We design ViewExtrapolator, a novel view synthesis approach that leverages the generative priors of Stable Video Diffusion (SVD) for realistic novel view extrapolation. By redesigning the SVD denoising process, ViewExtrapolator refines the artifact-prone views rendered by radiance fields, greatly enhancing the clarity and realism of the synthesized novel views. ViewExtrapolator is a generic novel view extrapolator that can work with different types of 3D rendering such as views rendered from point clouds when only a single view or monocular video is available. Additionally, ViewExtrapolator requires no fine-tuning of SVD, making it both data-efficient and computation-efficient. Extensive experiments demonstrate the superiority of ViewExtrapolator in novel view extrapolation. Project page: https://kunhao-liu.github.io/ViewExtrapolator/.