Hi3D: Persiguiendo la Generación de Imágenes en 3D de Alta Resolución con Modelos de Difusión de Video

Hi3D: Pursuing High-Resolution Image-to-3D Generation with Video Diffusion Models

September 11, 2024

Autores: Haibo Yang, Yang Chen, Yingwei Pan, Ting Yao, Zhineng Chen, Chong-Wah Ngo, Tao Mei

cs.AI

Resumen

A pesar de los enormes avances en la generación de imágenes a 3D, los métodos existentes aún tienen dificultades para producir imágenes consistentes en múltiples vistas con texturas de alta resolución en detalle, especialmente en el paradigma de difusión 2D que carece de conciencia 3D. En este trabajo, presentamos el modelo de Imagen a 3D de alta resolución (Hi3D), un nuevo paradigma basado en difusión de video que redefine una imagen única a imágenes en múltiples vistas como generación de imágenes secuenciales con conciencia 3D (es decir, generación de video orbital). Esta metodología explora el conocimiento subyacente de consistencia temporal en el modelo de difusión de video que se generaliza bien a la consistencia geométrica en múltiples vistas en la generación 3D. Técnicamente, Hi3D primero potencia el modelo pre-entrenado de difusión de video con una prioridad consciente de 3D (condición de posición de la cámara), produciendo imágenes en múltiples vistas con detalles de textura de baja resolución. Se aprende un refinador de video a video consciente de 3D para escalar aún más las imágenes en múltiples vistas con detalles de textura de alta resolución. Estas imágenes en múltiples vistas de alta resolución se amplían aún más con vistas novedosas a través de Splatting Gaussiano 3D, que finalmente se aprovechan para obtener mallas de alta fidelidad a través de la reconstrucción 3D. Experimentos extensos tanto en síntesis de vistas novedosas como en reconstrucción de vistas individuales demuestran que nuestro Hi3D logra producir imágenes de consistencia en múltiples vistas superiores con texturas altamente detalladas. El código fuente y los datos están disponibles en https://github.com/yanghb22-fdu/Hi3D-Official.

English

Despite having tremendous progress in image-to-3D generation, existing methods still struggle to produce multi-view consistent images with high-resolution textures in detail, especially in the paradigm of 2D diffusion that lacks 3D awareness. In this work, we present High-resolution Image-to-3D model (Hi3D), a new video diffusion based paradigm that redefines a single image to multi-view images as 3D-aware sequential image generation (i.e., orbital video generation). This methodology delves into the underlying temporal consistency knowledge in video diffusion model that generalizes well to geometry consistency across multiple views in 3D generation. Technically, Hi3D first empowers the pre-trained video diffusion model with 3D-aware prior (camera pose condition), yielding multi-view images with low-resolution texture details. A 3D-aware video-to-video refiner is learnt to further scale up the multi-view images with high-resolution texture details. Such high-resolution multi-view images are further augmented with novel views through 3D Gaussian Splatting, which are finally leveraged to obtain high-fidelity meshes via 3D reconstruction. Extensive experiments on both novel view synthesis and single view reconstruction demonstrate that our Hi3D manages to produce superior multi-view consistency images with highly-detailed textures. Source code and data are available at https://github.com/yanghb22-fdu/Hi3D-Official.