SV3D：潜在ビデオ拡散を用いた単一画像からの新規マルチビュー合成と3D生成

SV3D: Novel Multi-view Synthesis and 3D Generation from a Single Image using Latent Video Diffusion

March 18, 2024

著者: Vikram Voleti, Chun-Han Yao, Mark Boss, Adam Letts, David Pankratz, Dmitry Tochilkin, Christian Laforte, Robin Rombach, Varun Jampani

cs.AI

要旨

本論文では、Stable Video 3D（SV3D）を提案する。これは、3Dオブジェクト周りの軌道ビデオを高解像度で画像から多視点生成するための潜在ビデオ拡散モデルである。最近の3D生成に関する研究では、2D生成モデルを新規視点合成（NVS）および3D最適化に適応させる技術が提案されている。しかし、これらの手法は視点が限られているか、NVSの一貫性が欠如しているため、3Dオブジェクト生成の性能に影響を及ぼすという欠点がある。本研究では、画像からビデオへの拡散モデルを新規多視点合成および3D生成に適応させたSV3Dを提案し、ビデオモデルの汎化性能と多視点一貫性を活用するとともに、NVSのための明示的なカメラ制御を追加する。さらに、SV3DとそのNVS出力を画像から3D生成に利用するための改良された3D最適化技術も提案する。2Dおよび3Dのメトリクスを用いた複数のデータセットでの広範な実験結果とユーザスタディにより、SV3Dが従来の手法と比較してNVSおよび3D再構成において最先端の性能を発揮することを実証する。

English

We present Stable Video 3D (SV3D) -- a latent video diffusion model for high-resolution, image-to-multi-view generation of orbital videos around a 3D object. Recent work on 3D generation propose techniques to adapt 2D generative models for novel view synthesis (NVS) and 3D optimization. However, these methods have several disadvantages due to either limited views or inconsistent NVS, thereby affecting the performance of 3D object generation. In this work, we propose SV3D that adapts image-to-video diffusion model for novel multi-view synthesis and 3D generation, thereby leveraging the generalization and multi-view consistency of the video models, while further adding explicit camera control for NVS. We also propose improved 3D optimization techniques to use SV3D and its NVS outputs for image-to-3D generation. Extensive experimental results on multiple datasets with 2D and 3D metrics as well as user study demonstrate SV3D's state-of-the-art performance on NVS as well as 3D reconstruction compared to prior works.