Vista3D: Svelare il Lato Tridimensionale di un'Immagine Singola

Vista3D: Unravel the 3D Darkside of a Single Image

September 18, 2024

Autori: Qiuhong Shen, Xingyi Yang, Michael Bi Mi, Xinchao Wang

cs.AI

Abstract

Ci impegniamo nella vecchia ricerca: svelare le dimensioni nascoste degli oggetti da brevi sguardi alle loro parti visibili. Per affrontare ciò, presentiamo Vista3D, un framework che realizza in modo rapido e coerente la generazione 3D in soli 5 minuti. Al cuore di Vista3D si trova un approccio a due fasi: la fase grossolana e la fase fine. Nella fase grossolana, generiamo rapidamente la geometria iniziale con Gaussian Splatting da un'immagine singola. Nella fase fine, estraiamo una Funzione di Distanza Firmata (SDF) direttamente dal Gaussian Splatting appreso, ottimizzandola con una rappresentazione di superficie isosurface differenziabile. Inoltre, eleva la qualità della generazione utilizzando una rappresentazione disentangled con due funzioni implicite indipendenti per catturare gli aspetti visibili e oscurati degli oggetti. Inoltre, armonizza i gradienti da una precedente diffusione 2D con precedenti diffusione 3D tramite composizione di precedenti diffusione angolare. Attraverso una valutazione approfondita, dimostriamo che Vista3D mantiene efficacemente un equilibrio tra la coerenza e la diversità degli oggetti 3D generati. Demo e codice saranno disponibili su https://github.com/florinshen/Vista3D.

English

We embark on the age-old quest: unveiling the hidden dimensions of objects from mere glimpses of their visible parts. To address this, we present Vista3D, a framework that realizes swift and consistent 3D generation within a mere 5 minutes. At the heart of Vista3D lies a two-phase approach: the coarse phase and the fine phase. In the coarse phase, we rapidly generate initial geometry with Gaussian Splatting from a single image. In the fine phase, we extract a Signed Distance Function (SDF) directly from learned Gaussian Splatting, optimizing it with a differentiable isosurface representation. Furthermore, it elevates the quality of generation by using a disentangled representation with two independent implicit functions to capture both visible and obscured aspects of objects. Additionally, it harmonizes gradients from 2D diffusion prior with 3D-aware diffusion priors by angular diffusion prior composition. Through extensive evaluation, we demonstrate that Vista3D effectively sustains a balance between the consistency and diversity of the generated 3D objects. Demos and code will be available at https://github.com/florinshen/Vista3D.