Vista3D : Découvrez le côté 3D d'une seule image

Vista3D: Unravel the 3D Darkside of a Single Image

September 18, 2024

Auteurs: Qiuhong Shen, Xingyi Yang, Michael Bi Mi, Xinchao Wang

cs.AI

Résumé

Nous nous lançons dans la quête séculaire : dévoiler les dimensions cachées des objets à partir de simples aperçus de leurs parties visibles. Pour répondre à cela, nous présentons Vista3D, un cadre qui réalise une génération 3D rapide et cohérente en seulement 5 minutes. Au cœur de Vista3D se trouve une approche en deux phases : la phase grossière et la phase fine. Dans la phase grossière, nous générons rapidement une géométrie initiale avec le Gaussian Splatting à partir d'une seule image. Dans la phase fine, nous extrayons une Fonction de Distance Signée (SDF) directement à partir du Gaussian Splatting appris, en l'optimisant avec une représentation d'isurface différenciable. De plus, il élève la qualité de la génération en utilisant une représentation désentrelacée avec deux fonctions implicites indépendantes pour capturer à la fois les aspects visibles et occultés des objets. De plus, il harmonise les gradients issus d'une diffusion 2D préalable avec des diffusions préalables conscientes de la 3D par composition d'une diffusion angulaire préalable. À travers une évaluation approfondie, nous démontrons que Vista3D maintient efficacement un équilibre entre la cohérence et la diversité des objets 3D générés. Les démonstrations et le code seront disponibles sur https://github.com/florinshen/Vista3D.

English

We embark on the age-old quest: unveiling the hidden dimensions of objects from mere glimpses of their visible parts. To address this, we present Vista3D, a framework that realizes swift and consistent 3D generation within a mere 5 minutes. At the heart of Vista3D lies a two-phase approach: the coarse phase and the fine phase. In the coarse phase, we rapidly generate initial geometry with Gaussian Splatting from a single image. In the fine phase, we extract a Signed Distance Function (SDF) directly from learned Gaussian Splatting, optimizing it with a differentiable isosurface representation. Furthermore, it elevates the quality of generation by using a disentangled representation with two independent implicit functions to capture both visible and obscured aspects of objects. Additionally, it harmonizes gradients from 2D diffusion prior with 3D-aware diffusion priors by angular diffusion prior composition. Through extensive evaluation, we demonstrate that Vista3D effectively sustains a balance between the consistency and diversity of the generated 3D objects. Demos and code will be available at https://github.com/florinshen/Vista3D.