Hi3D: Buscando Geração de Imagens em 3D de Alta Resolução com Modelos de Difusão de Vídeo

Hi3D: Pursuing High-Resolution Image-to-3D Generation with Video Diffusion Models

September 11, 2024

Autores: Haibo Yang, Yang Chen, Yingwei Pan, Ting Yao, Zhineng Chen, Chong-Wah Ngo, Tao Mei

cs.AI

Resumo

Apesar do tremendo progresso na geração de imagens em 3D, os métodos existentes ainda enfrentam dificuldades em produzir imagens consistentes em múltiplas vistas com texturas de alta resolução em detalhes, especialmente no paradigma de difusão 2D que carece de consciência 3D. Neste trabalho, apresentamos o modelo de Imagem em 3D de alta resolução (Hi3D), um novo paradigma baseado em difusão de vídeo que redefine uma única imagem para imagens em múltiplas vistas como geração de imagens sequenciais conscientes em 3D (ou seja, geração de vídeo orbital). Esta metodologia explora o conhecimento subjacente de consistência temporal no modelo de difusão de vídeo, que generaliza bem para a consistência geométrica em múltiplas vistas na geração 3D. Tecnicamente, o Hi3D primeiro capacita o modelo de difusão de vídeo pré-treinado com uma priori consciente em 3D (condição de pose da câmera), resultando em imagens em múltiplas vistas com detalhes de textura de baixa resolução. Um refinador de vídeo para vídeo consciente em 3D é aprendido para ampliar ainda mais as imagens em múltiplas vistas com detalhes de textura de alta resolução. Essas imagens em múltiplas vistas de alta resolução são posteriormente aumentadas com novas vistas através de Splatting Gaussiano em 3D, que são finalmente utilizadas para obter malhas de alta fidelidade via reconstrução 3D. Experimentos extensivos tanto em síntese de novas vistas quanto em reconstrução de única vista demonstram que nosso Hi3D consegue produzir imagens de consistência em múltiplas vistas superiores com texturas altamente detalhadas. O código-fonte e os dados estão disponíveis em https://github.com/yanghb22-fdu/Hi3D-Official.

English

Despite having tremendous progress in image-to-3D generation, existing methods still struggle to produce multi-view consistent images with high-resolution textures in detail, especially in the paradigm of 2D diffusion that lacks 3D awareness. In this work, we present High-resolution Image-to-3D model (Hi3D), a new video diffusion based paradigm that redefines a single image to multi-view images as 3D-aware sequential image generation (i.e., orbital video generation). This methodology delves into the underlying temporal consistency knowledge in video diffusion model that generalizes well to geometry consistency across multiple views in 3D generation. Technically, Hi3D first empowers the pre-trained video diffusion model with 3D-aware prior (camera pose condition), yielding multi-view images with low-resolution texture details. A 3D-aware video-to-video refiner is learnt to further scale up the multi-view images with high-resolution texture details. Such high-resolution multi-view images are further augmented with novel views through 3D Gaussian Splatting, which are finally leveraged to obtain high-fidelity meshes via 3D reconstruction. Extensive experiments on both novel view synthesis and single view reconstruction demonstrate that our Hi3D manages to produce superior multi-view consistency images with highly-detailed textures. Source code and data are available at https://github.com/yanghb22-fdu/Hi3D-Official.