Vista3D: Ontwar de 3D-donkere kant van een enkele afbeelding

Vista3D: Unravel the 3D Darkside of a Single Image

September 18, 2024

Auteurs: Qiuhong Shen, Xingyi Yang, Michael Bi Mi, Xinchao Wang

cs.AI

Samenvatting

We gaan op de eeuwenoude queeste: het onthullen van de verborgen dimensies van objecten van slechts een glimp van hun zichtbare delen. Om dit aan te pakken, presenteren we Vista3D, een framework dat snelle en consistente 3D-generatie realiseert binnen slechts 5 minuten. Het hart van Vista3D wordt gevormd door een tweefasige benadering: de grove fase en de fijne fase. In de grove fase genereren we snel initiële geometrie met Gaussische Splatting vanuit een enkele afbeelding. In de fijne fase extraheren we een Signed Distance Function (SDF) rechtstreeks uit geleerde Gaussische Splatting, waarbij we deze optimaliseren met een differentieerbare iso-oppervlakte representatie. Bovendien verhoogt het de kwaliteit van de generatie door het gebruik van een ontwarde representatie met twee onafhankelijke impliciete functies om zowel zichtbare als verborgen aspecten van objecten vast te leggen. Daarnaast harmoniseert het gradients van 2D-diffusiepriors met 3D-bewuste diffusiepriors door middel van hoekige diffusiepriorcompositie. Via uitgebreide evaluatie tonen we aan dat Vista3D effectief een balans handhaaft tussen de consistentie en diversiteit van de gegenereerde 3D-objecten. Demonstraties en code zijn beschikbaar op https://github.com/florinshen/Vista3D.

English

We embark on the age-old quest: unveiling the hidden dimensions of objects from mere glimpses of their visible parts. To address this, we present Vista3D, a framework that realizes swift and consistent 3D generation within a mere 5 minutes. At the heart of Vista3D lies a two-phase approach: the coarse phase and the fine phase. In the coarse phase, we rapidly generate initial geometry with Gaussian Splatting from a single image. In the fine phase, we extract a Signed Distance Function (SDF) directly from learned Gaussian Splatting, optimizing it with a differentiable isosurface representation. Furthermore, it elevates the quality of generation by using a disentangled representation with two independent implicit functions to capture both visible and obscured aspects of objects. Additionally, it harmonizes gradients from 2D diffusion prior with 3D-aware diffusion priors by angular diffusion prior composition. Through extensive evaluation, we demonstrate that Vista3D effectively sustains a balance between the consistency and diversity of the generated 3D objects. Demos and code will be available at https://github.com/florinshen/Vista3D.