Vista3D: Раскройте трехмерную сторону изображения с помощью одного снимка

Vista3D: Unravel the 3D Darkside of a Single Image

September 18, 2024

Авторы: Qiuhong Shen, Xingyi Yang, Michael Bi Mi, Xinchao Wang

cs.AI

Аннотация

Мы отправляемся в вечный поиск: раскрытие скрытых измерений объектов по едва заметным частям их видимой структуры. Для решения этой задачи мы представляем Vista3D, фреймворк, обеспечивающий быструю и последовательную генерацию трехмерных объектов всего за 5 минут. В центре Vista3D лежит двухфазный подход: грубая фаза и точная фаза. В грубой фазе мы быстро создаем начальную геометрию с помощью Гауссовского сплетения по одному изображению. В точной фазе мы извлекаем функцию знакового расстояния (SDF) непосредственно из обученного Гауссовского сплетения, оптимизируя ее с помощью дифференцируемого представления изосурфейса. Кроме того, качество генерации повышается за счет использования разделенного представления с двумя независимыми неявными функциями для захвата как видимых, так и скрытых аспектов объектов. Кроме того, оно согласует градиенты от 2D диффузионных априори с 3D-ориентированными диффузионными априори путем композиции ориентированных диффузионных априори. Через обширную оценку мы демонстрируем, что Vista3D эффективно поддерживает баланс между последовательностью и разнообразием созданных трехмерных объектов. Демонстрации и код будут доступны на https://github.com/florinshen/Vista3D.

English

We embark on the age-old quest: unveiling the hidden dimensions of objects from mere glimpses of their visible parts. To address this, we present Vista3D, a framework that realizes swift and consistent 3D generation within a mere 5 minutes. At the heart of Vista3D lies a two-phase approach: the coarse phase and the fine phase. In the coarse phase, we rapidly generate initial geometry with Gaussian Splatting from a single image. In the fine phase, we extract a Signed Distance Function (SDF) directly from learned Gaussian Splatting, optimizing it with a differentiable isosurface representation. Furthermore, it elevates the quality of generation by using a disentangled representation with two independent implicit functions to capture both visible and obscured aspects of objects. Additionally, it harmonizes gradients from 2D diffusion prior with 3D-aware diffusion priors by angular diffusion prior composition. Through extensive evaluation, we demonstrate that Vista3D effectively sustains a balance between the consistency and diversity of the generated 3D objects. Demos and code will be available at https://github.com/florinshen/Vista3D.