Новаторское экстраполирование видов с использованием видео-диффузионных априорных данных

Novel View Extrapolation with Video Diffusion Priors

November 21, 2024

Авторы: Kunhao Liu, Ling Shao, Shijian Lu

cs.AI

Аннотация

Область синтеза нового вида значительно продвинулась благодаря развитию методов радиационного поля. Однако большинство техник радиационного поля гораздо лучше справляются с интерполяцией нового вида, чем с экстраполяцией нового вида, когда синтезируемые новые виды значительно выходят за пределы наблюдаемых обучающих видов. Мы разработали ViewExtrapolator, подход к синтезу нового вида, который использует генеративные априорные знания Stable Video Diffusion (SVD) для реалистичной экстраполяции нового вида. Перепроектировав процесс шумоподавления SVD, ViewExtrapolator улучшает артефактные виды, созданные радиационными полями, значительно повышая четкость и реализм синтезированных новых видов. ViewExtrapolator является универсальным экстраполятором нового вида, который может работать с различными типами 3D-рендеринга, такими как виды, созданные из облаков точек, когда доступен только один вид или монокулярное видео. Кроме того, для работы ViewExtrapolator не требуется тонкая настройка SVD, что делает его как экономичным по данным, так и по вычислениям. Обширные эксперименты демонстрируют превосходство ViewExtrapolator в экстраполяции нового вида. Страница проекта: https://kunhao-liu.github.io/ViewExtrapolator/.

English

The field of novel view synthesis has made significant strides thanks to the development of radiance field methods. However, most radiance field techniques are far better at novel view interpolation than novel view extrapolation where the synthesis novel views are far beyond the observed training views. We design ViewExtrapolator, a novel view synthesis approach that leverages the generative priors of Stable Video Diffusion (SVD) for realistic novel view extrapolation. By redesigning the SVD denoising process, ViewExtrapolator refines the artifact-prone views rendered by radiance fields, greatly enhancing the clarity and realism of the synthesized novel views. ViewExtrapolator is a generic novel view extrapolator that can work with different types of 3D rendering such as views rendered from point clouds when only a single view or monocular video is available. Additionally, ViewExtrapolator requires no fine-tuning of SVD, making it both data-efficient and computation-efficient. Extensive experiments demonstrate the superiority of ViewExtrapolator in novel view extrapolation. Project page: https://kunhao-liu.github.io/ViewExtrapolator/.