Vista3D: Desvendando o Lado 3D de uma Única Imagem

Vista3D: Unravel the 3D Darkside of a Single Image

September 18, 2024

Autores: Qiuhong Shen, Xingyi Yang, Michael Bi Mi, Xinchao Wang

cs.AI

Resumo

Embarcamos na busca ancestral: desvendar as dimensões ocultas de objetos a partir de meros vislumbres de suas partes visíveis. Para abordar isso, apresentamos Vista3D, um framework que realiza geração 3D rápida e consistente em meros 5 minutos. No cerne do Vista3D está uma abordagem em duas fases: a fase grosseira e a fase refinada. Na fase grosseira, geramos rapidamente geometria inicial com Splatting Gaussiano a partir de uma única imagem. Na fase refinada, extraímos uma Função de Distância Assinada (SDF) diretamente do Splatting Gaussiano aprendido, otimizando-a com uma representação de superfície iso diferenciável. Além disso, eleva a qualidade da geração ao utilizar uma representação desembaraçada com duas funções implícitas independentes para capturar tanto os aspectos visíveis quanto os obscurecidos dos objetos. Adicionalmente, harmoniza gradientes de uma difusão 2D anterior com difusões 3D conscientes por meio da composição de uma difusão angular anterior. Através de uma avaliação extensiva, demonstramos que o Vista3D sustenta efetivamente um equilíbrio entre a consistência e a diversidade dos objetos 3D gerados. Demonstrativos e código estarão disponíveis em https://github.com/florinshen/Vista3D.

English

We embark on the age-old quest: unveiling the hidden dimensions of objects from mere glimpses of their visible parts. To address this, we present Vista3D, a framework that realizes swift and consistent 3D generation within a mere 5 minutes. At the heart of Vista3D lies a two-phase approach: the coarse phase and the fine phase. In the coarse phase, we rapidly generate initial geometry with Gaussian Splatting from a single image. In the fine phase, we extract a Signed Distance Function (SDF) directly from learned Gaussian Splatting, optimizing it with a differentiable isosurface representation. Furthermore, it elevates the quality of generation by using a disentangled representation with two independent implicit functions to capture both visible and obscured aspects of objects. Additionally, it harmonizes gradients from 2D diffusion prior with 3D-aware diffusion priors by angular diffusion prior composition. Through extensive evaluation, we demonstrate that Vista3D effectively sustains a balance between the consistency and diversity of the generated 3D objects. Demos and code will be available at https://github.com/florinshen/Vista3D.