Vista3D: Entschlüsseln Sie die 3D-Seite eines einzelnen Bildes

Vista3D: Unravel the 3D Darkside of a Single Image

September 18, 2024

Autoren: Qiuhong Shen, Xingyi Yang, Michael Bi Mi, Xinchao Wang

cs.AI

Zusammenfassung

Wir begeben uns auf die jahrhundertealte Suche: die verborgenen Dimensionen von Objekten aus bloßen Blicken auf ihre sichtbaren Teile zu enthüllen. Um dies anzugehen, präsentieren wir Vista3D, ein Framework, das innerhalb von nur 5 Minuten eine schnelle und konsistente 3D-Generierung realisiert. Im Herzen von Vista3D liegt ein zweiphasiger Ansatz: die grobe Phase und die feine Phase. In der groben Phase generieren wir schnell eine initiale Geometrie mit Gausschem Splatting aus einem einzigen Bild. In der feinen Phase extrahieren wir eine Signierte Distanzfunktion (SDF) direkt aus dem erlernten Gausschen Splatting und optimieren sie mit einer differenzierbaren Isoflächen-Repräsentation. Darüber hinaus verbessert es die Qualität der Generierung, indem es eine entwirrte Repräsentation mit zwei unabhängigen impliziten Funktionen verwendet, um sowohl sichtbare als auch verdeckte Aspekte von Objekten zu erfassen. Zusätzlich harmonisiert es Gradienten aus 2D-Diffusionsprior mit 3D-bewussten Diffusionspriors durch die Komposition eines Winkel-Diffusionspriors. Durch umfangreiche Evaluation zeigen wir, dass Vista3D effektiv ein Gleichgewicht zwischen der Konsistenz und Vielfalt der generierten 3D-Objekte aufrechterhält. Demos und Code sind verfügbar unter https://github.com/florinshen/Vista3D.

English

We embark on the age-old quest: unveiling the hidden dimensions of objects from mere glimpses of their visible parts. To address this, we present Vista3D, a framework that realizes swift and consistent 3D generation within a mere 5 minutes. At the heart of Vista3D lies a two-phase approach: the coarse phase and the fine phase. In the coarse phase, we rapidly generate initial geometry with Gaussian Splatting from a single image. In the fine phase, we extract a Signed Distance Function (SDF) directly from learned Gaussian Splatting, optimizing it with a differentiable isosurface representation. Furthermore, it elevates the quality of generation by using a disentangled representation with two independent implicit functions to capture both visible and obscured aspects of objects. Additionally, it harmonizes gradients from 2D diffusion prior with 3D-aware diffusion priors by angular diffusion prior composition. Through extensive evaluation, we demonstrate that Vista3D effectively sustains a balance between the consistency and diversity of the generated 3D objects. Demos and code will be available at https://github.com/florinshen/Vista3D.