Vista3D: Descifrar el Lado Oscuro en 3D de una Única Imagen

Vista3D: Unravel the 3D Darkside of a Single Image

September 18, 2024

Autores: Qiuhong Shen, Xingyi Yang, Michael Bi Mi, Xinchao Wang

cs.AI

Resumen

Nos embarcamos en la antigua búsqueda: desvelar las dimensiones ocultas de objetos a partir de simples vistazos a sus partes visibles. Para abordar esto, presentamos Vista3D, un marco que logra una generación rápida y consistente de modelos 3D en tan solo 5 minutos. En el núcleo de Vista3D se encuentra un enfoque de dos fases: la fase gruesa y la fase fina. En la fase gruesa, generamos rápidamente la geometría inicial con "Gaussian Splatting" a partir de una sola imagen. En la fase fina, extraemos una Función de Distancia Firmada (SDF) directamente de "Gaussian Splatting" aprendido, optimizándola con una representación de superficie iso-diferenciable. Además, eleva la calidad de la generación utilizando una representación disentangled con dos funciones implícitas independientes para capturar los aspectos visibles y ocultos de los objetos. Asimismo, armoniza los gradientes de una difusión previa en 2D con difusiones previas conscientes del 3D mediante la composición de una difusión previa angular. A través de una evaluación exhaustiva, demostramos que Vista3D mantiene efectivamente un equilibrio entre la consistencia y la diversidad de los objetos 3D generados. Las demostraciones y el código estarán disponibles en https://github.com/florinshen/Vista3D.

English

We embark on the age-old quest: unveiling the hidden dimensions of objects from mere glimpses of their visible parts. To address this, we present Vista3D, a framework that realizes swift and consistent 3D generation within a mere 5 minutes. At the heart of Vista3D lies a two-phase approach: the coarse phase and the fine phase. In the coarse phase, we rapidly generate initial geometry with Gaussian Splatting from a single image. In the fine phase, we extract a Signed Distance Function (SDF) directly from learned Gaussian Splatting, optimizing it with a differentiable isosurface representation. Furthermore, it elevates the quality of generation by using a disentangled representation with two independent implicit functions to capture both visible and obscured aspects of objects. Additionally, it harmonizes gradients from 2D diffusion prior with 3D-aware diffusion priors by angular diffusion prior composition. Through extensive evaluation, we demonstrate that Vista3D effectively sustains a balance between the consistency and diversity of the generated 3D objects. Demos and code will be available at https://github.com/florinshen/Vista3D.