Hi3D: Поиск высокоразрешающей генерации 3D изображений с видео моделями диффузии

Hi3D: Pursuing High-Resolution Image-to-3D Generation with Video Diffusion Models

September 11, 2024

Авторы: Haibo Yang, Yang Chen, Yingwei Pan, Ting Yao, Zhineng Chen, Chong-Wah Ngo, Tao Mei

cs.AI

Аннотация

Несмотря на значительный прогресс в генерации изображений в 3D, существующие методы все еще испытывают трудности в создании многопроекционных изображений с высокоразрешенными текстурами в деталях, особенно в парадигме 2D-диффузии, которой не хватает осознания 3D. В данной работе мы представляем модель High-resolution Image-to-3D (Hi3D), новую парадигму на основе видео-диффузии, которая переопределяет одно изображение в многопроекционные изображения как генерацию последовательных изображений, осознающих 3D (т.е. генерацию видео орбитального движения). Этот метод углубляется в основные знания о временной согласованности в модели видео-диффузии, которая обобщается на геометрическую согласованность по нескольким видам в генерации 3D. Технически Hi3D сначала усиливает предварительно обученную модель видео-диффузии с осознанием 3D-приора (условие позы камеры), что приводит к многопроекционным изображениям с деталями текстур низкого разрешения. Обучается 3D-осознающий улучшитель видео-видео для дальнейшего увеличения многопроекционных изображений с деталями текстур высокого разрешения. Такие многопроекционные изображения высокого разрешения дополняются новыми видами через 3D-гауссово сплетение, которые в конечном итоге используются для получения сеток высокой точности через 3D-реконструкцию. Обширные эксперименты как по синтезу новых видов, так и по восстановлению одного вида демонстрируют, что наш Hi3D способен создавать превосходные многопроекционные изображения с высокодетализированными текстурами. Исходный код и данные доступны по адресу https://github.com/yanghb22-fdu/Hi3D-Official.

English

Despite having tremendous progress in image-to-3D generation, existing methods still struggle to produce multi-view consistent images with high-resolution textures in detail, especially in the paradigm of 2D diffusion that lacks 3D awareness. In this work, we present High-resolution Image-to-3D model (Hi3D), a new video diffusion based paradigm that redefines a single image to multi-view images as 3D-aware sequential image generation (i.e., orbital video generation). This methodology delves into the underlying temporal consistency knowledge in video diffusion model that generalizes well to geometry consistency across multiple views in 3D generation. Technically, Hi3D first empowers the pre-trained video diffusion model with 3D-aware prior (camera pose condition), yielding multi-view images with low-resolution texture details. A 3D-aware video-to-video refiner is learnt to further scale up the multi-view images with high-resolution texture details. Such high-resolution multi-view images are further augmented with novel views through 3D Gaussian Splatting, which are finally leveraged to obtain high-fidelity meshes via 3D reconstruction. Extensive experiments on both novel view synthesis and single view reconstruction demonstrate that our Hi3D manages to produce superior multi-view consistency images with highly-detailed textures. Source code and data are available at https://github.com/yanghb22-fdu/Hi3D-Official.