ビデオ拡散事前情報を用いた新しい視点の推定

Novel View Extrapolation with Video Diffusion Priors

November 21, 2024

著者: Kunhao Liu, Ling Shao, Shijian Lu

cs.AI

要旨

小説的視点合成の分野は、放射輝度場手法の発展により、大きな進歩を遂げています。しかし、ほとんどの放射輝度場技術は、新しい視点の内挿よりも、観測されたトレーニング視点をはるかに超えた新しい視点の外挿において優れています。私たちは、Stable Video Diffusion（SVD）の生成事前知識を活用した実在的な新しい視点の外挿のためのViewExtrapolatorという新しい視点合成アプローチを設計しました。SVDのノイズ除去プロセスを再設計することで、ViewExtrapolatorは、放射輝度場によってレンダリングされたアーティファクトの多い視点を洗練し、合成された新しい視点の明瞭さとリアリズムを大幅に向上させます。ViewExtrapolatorは、単一の視点または単眼ビデオが利用可能な場合に、ポイントクラウドからレンダリングされた視点など、さまざまな種類の3Dレンダリングと連携できる汎用的な新しい視点の外挿器です。さらに、ViewExtrapolatorはSVDの微調整を必要とせず、データ効率と計算効率の両方が高いです。幅広い実験により、ViewExtrapolatorの新しい視点の外挿における優位性が証明されています。プロジェクトページ: https://kunhao-liu.github.io/ViewExtrapolator/。

English

The field of novel view synthesis has made significant strides thanks to the development of radiance field methods. However, most radiance field techniques are far better at novel view interpolation than novel view extrapolation where the synthesis novel views are far beyond the observed training views. We design ViewExtrapolator, a novel view synthesis approach that leverages the generative priors of Stable Video Diffusion (SVD) for realistic novel view extrapolation. By redesigning the SVD denoising process, ViewExtrapolator refines the artifact-prone views rendered by radiance fields, greatly enhancing the clarity and realism of the synthesized novel views. ViewExtrapolator is a generic novel view extrapolator that can work with different types of 3D rendering such as views rendered from point clouds when only a single view or monocular video is available. Additionally, ViewExtrapolator requires no fine-tuning of SVD, making it both data-efficient and computation-efficient. Extensive experiments demonstrate the superiority of ViewExtrapolator in novel view extrapolation. Project page: https://kunhao-liu.github.io/ViewExtrapolator/.