Hi3D: Het streven naar het genereren van driedimensionale beelden met hoge resolutie met behulp van Video Diffusion Modellen.

Hi3D: Pursuing High-Resolution Image-to-3D Generation with Video Diffusion Models

September 11, 2024

Auteurs: Haibo Yang, Yang Chen, Yingwei Pan, Ting Yao, Zhineng Chen, Chong-Wah Ngo, Tao Mei

cs.AI

Samenvatting

Ondanks de enorme vooruitgang in beeld-naar-3D generatie, hebben bestaande methoden nog steeds moeite om multi-view consistente beelden te produceren met gedetailleerde texturen van hoge resolutie, vooral in het paradigma van 2D diffusie dat 3D-bewustzijn mist. In dit werk presenteren we het High-resolution Image-to-3D model (Hi3D), een nieuw videodiffusiegebaseerd paradigma dat een enkele afbeelding opnieuw definieert naar multi-view beelden als 3D-bewuste sequentiële beeldgeneratie (d.w.z. orbitale videogeneratie). Deze methodologie duikt in de onderliggende temporale consistentiekennis in het videodiffusiemodel die goed generaliseert naar geometrieconsistentie over meerdere weergaven in 3D-generatie. Technisch gezien versterkt Hi3D eerst het vooraf getrainde videodiffusiemodel met 3D-bewuste prior (camera-positievoorwaarde), resulterend in multi-view beelden met details van lage resolutie. Een 3D-bewuste video-naar-video verfijner wordt geleerd om de multi-view beelden verder op te schalen met details van hoge resolutie. Dergelijke multi-view beelden met hoge resolutie worden verder aangevuld met nieuwe weergaven via 3D Gaussian Splatting, die uiteindelijk worden gebruikt om hoogwaardige meshes te verkrijgen via 3D-reconstructie. Uitgebreide experimenten op zowel synthese van nieuwe weergaven als reconstructie van enkele weergaven tonen aan dat onze Hi3D erin slaagt superieure multi-view consistente beelden te produceren met zeer gedetailleerde texturen. De broncode en gegevens zijn beschikbaar op https://github.com/yanghb22-fdu/Hi3D-Official.

English

Despite having tremendous progress in image-to-3D generation, existing methods still struggle to produce multi-view consistent images with high-resolution textures in detail, especially in the paradigm of 2D diffusion that lacks 3D awareness. In this work, we present High-resolution Image-to-3D model (Hi3D), a new video diffusion based paradigm that redefines a single image to multi-view images as 3D-aware sequential image generation (i.e., orbital video generation). This methodology delves into the underlying temporal consistency knowledge in video diffusion model that generalizes well to geometry consistency across multiple views in 3D generation. Technically, Hi3D first empowers the pre-trained video diffusion model with 3D-aware prior (camera pose condition), yielding multi-view images with low-resolution texture details. A 3D-aware video-to-video refiner is learnt to further scale up the multi-view images with high-resolution texture details. Such high-resolution multi-view images are further augmented with novel views through 3D Gaussian Splatting, which are finally leveraged to obtain high-fidelity meshes via 3D reconstruction. Extensive experiments on both novel view synthesis and single view reconstruction demonstrate that our Hi3D manages to produce superior multi-view consistency images with highly-detailed textures. Source code and data are available at https://github.com/yanghb22-fdu/Hi3D-Official.