Hi3D: Verfolgung der hochauflösenden Bild-zu-3D-Generierung mit Video-Diffusionsmodellen

Hi3D: Pursuing High-Resolution Image-to-3D Generation with Video Diffusion Models

September 11, 2024

Autoren: Haibo Yang, Yang Chen, Yingwei Pan, Ting Yao, Zhineng Chen, Chong-Wah Ngo, Tao Mei

cs.AI

Zusammenfassung

Trotz enormer Fortschritte bei der Bild-zu-3D-Generierung haben bestehende Methoden immer noch Schwierigkeiten, mehrere Ansichten konsistenter Bilder mit hochauflösenden Texturen im Detail zu erzeugen, insbesondere im Paradigma der 2D-Diffusion, das an 3D-Bewusstsein mangelt. In dieser Arbeit präsentieren wir das High-resolution Image-to-3D-Modell (Hi3D), ein neues auf Video-Diffusion basierendes Paradigma, das ein einzelnes Bild in Multi-View-Bilder als 3D-bewusste sequenzielle Bildgenerierung umdefiniert (d. h. orbitale Video-Generierung). Diese Methodik taucht in das zugrunde liegende zeitliche Konsistenzwissen im Video-Diffusionsmodell ein, das sich gut auf die geometrische Konsistenz über mehrere Ansichten in der 3D-Generierung verallgemeinern lässt. Technisch gesehen stärkt Hi3D zunächst das vortrainierte Video-Diffusionsmodell mit einer 3D-bewussten Voraussetzung (Kamerapositionsbedingung), was zu Multi-View-Bildern mit Niedrigauflösungsdetails führt. Ein 3D-bewusster Video-zu-Video-Verfeinerer wird erlernt, um die Multi-View-Bilder weiter mit hochauflösenden Texturdetails zu skalieren. Solche hochauflösenden Multi-View-Bilder werden durch neuartige Ansichten mittels 3D-Gauß-Splatting weiter ergänzt, die schließlich genutzt werden, um hochwertige Meshes über 3D-Rekonstruktion zu erhalten. Umfangreiche Experimente sowohl zur Synthese von neuartigen Ansichten als auch zur Rekonstruktion von Einzelansichten zeigen, dass unser Hi3D in der Lage ist, überlegene Multi-View-konsistente Bilder mit hochdetaillierten Texturen zu erzeugen. Der Quellcode und die Daten sind unter https://github.com/yanghb22-fdu/Hi3D-Official verfügbar.

English

Despite having tremendous progress in image-to-3D generation, existing methods still struggle to produce multi-view consistent images with high-resolution textures in detail, especially in the paradigm of 2D diffusion that lacks 3D awareness. In this work, we present High-resolution Image-to-3D model (Hi3D), a new video diffusion based paradigm that redefines a single image to multi-view images as 3D-aware sequential image generation (i.e., orbital video generation). This methodology delves into the underlying temporal consistency knowledge in video diffusion model that generalizes well to geometry consistency across multiple views in 3D generation. Technically, Hi3D first empowers the pre-trained video diffusion model with 3D-aware prior (camera pose condition), yielding multi-view images with low-resolution texture details. A 3D-aware video-to-video refiner is learnt to further scale up the multi-view images with high-resolution texture details. Such high-resolution multi-view images are further augmented with novel views through 3D Gaussian Splatting, which are finally leveraged to obtain high-fidelity meshes via 3D reconstruction. Extensive experiments on both novel view synthesis and single view reconstruction demonstrate that our Hi3D manages to produce superior multi-view consistency images with highly-detailed textures. Source code and data are available at https://github.com/yanghb22-fdu/Hi3D-Official.