SV3D: Новый синтез многозрительности и генерация трехмерных объектов из одного изображения с использованием латентной видео-диффузии.

SV3D: Novel Multi-view Synthesis and 3D Generation from a Single Image using Latent Video Diffusion

March 18, 2024

Авторы: Vikram Voleti, Chun-Han Yao, Mark Boss, Adam Letts, David Pankratz, Dmitry Tochilkin, Christian Laforte, Robin Rombach, Varun Jampani

cs.AI

Аннотация

Мы представляем модель стабильного видео 3D (SV3D) - латентную модель диффузии видео для генерации изображений в множественных видах орбитальных видео вокруг 3D объекта. Недавние работы по созданию 3D моделей предлагают техники адаптации 2D генеративных моделей для синтеза нового вида (NVS) и 3D оптимизации. Однако эти методы имеют несколько недостатков из-за ограниченных видов или несогласованного NVS, что влияет на производительность генерации 3D объектов. В данной работе мы предлагаем SV3D, которая адаптирует модель диффузии изображения в видео для синтеза новых многовидовых изображений и генерации 3D, тем самым используя обобщение и многовидовую согласованность видео моделей, а также добавляя явное управление камерой для NVS. Мы также предлагаем улучшенные техники 3D оптимизации для использования SV3D и ее выходов NVS для генерации изображения в 3D. Обширные экспериментальные результаты на нескольких наборах данных с использованием 2D и 3D метрик, а также пользовательское исследование, демонстрируют передовую производительность SV3D в NVS и реконструкции 3D по сравнению с предыдущими работами.

English

We present Stable Video 3D (SV3D) -- a latent video diffusion model for high-resolution, image-to-multi-view generation of orbital videos around a 3D object. Recent work on 3D generation propose techniques to adapt 2D generative models for novel view synthesis (NVS) and 3D optimization. However, these methods have several disadvantages due to either limited views or inconsistent NVS, thereby affecting the performance of 3D object generation. In this work, we propose SV3D that adapts image-to-video diffusion model for novel multi-view synthesis and 3D generation, thereby leveraging the generalization and multi-view consistency of the video models, while further adding explicit camera control for NVS. We also propose improved 3D optimization techniques to use SV3D and its NVS outputs for image-to-3D generation. Extensive experimental results on multiple datasets with 2D and 3D metrics as well as user study demonstrate SV3D's state-of-the-art performance on NVS as well as 3D reconstruction compared to prior works.