비디오 확산 사전을 사용한 새로운 시점 추정

Novel View Extrapolation with Video Diffusion Priors

November 21, 2024

저자: Kunhao Liu, Ling Shao, Shijian Lu

cs.AI

초록

소설적 시야 합성 분야는 방사도장 메소드의 발전 덕분에 상당한 발전을 이루었습니다. 그러나 대부분의 방사도장 기술은 새로운 시야 보간에 뛰어나지만, 관측된 훈련 시야를 크게 벗어난 새로운 시야 외삽에서는 떨어집니다. 저희는 안정적 비디오 확산(SVD)의 생성 사전을 활용하여 현실적인 새로운 시야 외삽을 위한 ViewExtrapolator라는 새로운 시야 합성 접근 방식을 설계했습니다. SVD의 노이즈 제거 과정을 재설계함으로써 ViewExtrapolator는 방사도장에 의해 렌더링된 아티팩트가 많은 시야를 개선하여 합성된 새로운 시야의 명확성과 현실감을 크게 향상시킵니다. ViewExtrapolator는 단일 시야나 단안 비디오만 사용 가능한 경우와 같이 포인트 클라우드에서 렌더링된 시야와 같은 다양한 유형의 3D 렌더링과 함께 작동할 수 있는 일반적인 새로운 시야 외삽기입니다. 또한 ViewExtrapolator는 SVD의 세부 조정이 필요하지 않아 데이터 및 계산 효율적이며, 새로운 시야 외삽에서 ViewExtrapolator의 우수성을 입증하는 광범위한 실험을 통해 확인되었습니다. 프로젝트 페이지: https://kunhao-liu.github.io/ViewExtrapolator/.

English

The field of novel view synthesis has made significant strides thanks to the development of radiance field methods. However, most radiance field techniques are far better at novel view interpolation than novel view extrapolation where the synthesis novel views are far beyond the observed training views. We design ViewExtrapolator, a novel view synthesis approach that leverages the generative priors of Stable Video Diffusion (SVD) for realistic novel view extrapolation. By redesigning the SVD denoising process, ViewExtrapolator refines the artifact-prone views rendered by radiance fields, greatly enhancing the clarity and realism of the synthesized novel views. ViewExtrapolator is a generic novel view extrapolator that can work with different types of 3D rendering such as views rendered from point clouds when only a single view or monocular video is available. Additionally, ViewExtrapolator requires no fine-tuning of SVD, making it both data-efficient and computation-efficient. Extensive experiments demonstrate the superiority of ViewExtrapolator in novel view extrapolation. Project page: https://kunhao-liu.github.io/ViewExtrapolator/.