SPAR3D: Устойчивая реконструкция трехмерных объектов с помощью одиночных изображений, учитывающая точки.

SPAR3D: Stable Point-Aware Reconstruction of 3D Objects from Single Images

January 8, 2025

Авторы: Zixuan Huang, Mark Boss, Aaryaman Vasishta, James M. Rehg, Varun Jampani

cs.AI

Аннотация

Мы исследуем проблему восстановления трехмерных объектов по одному изображению. Недавние работы разделились на два направления: моделирование на основе регрессии и генеративное моделирование. Методы регрессии эффективно выводят видимые поверхности, но испытывают трудности с закрытыми областями. Генеративные методы лучше справляются с неопределенными областями, моделируя распределения, но являются вычислительно затратными, и генерация часто не совпадает с видимыми поверхностями. В данной статье мы представляем SPAR3D, новый двухэтапный подход, целью которого является объединение лучших аспектов обоих направлений. Первый этап SPAR3D генерирует разреженные облака точек в 3D с использованием легкой модели диффузии точек, обладающей быстрой скоростью выборки. Второй этап использует как сэмплированное облако точек, так и входное изображение для создания высокодетализированных сеток. Наше двухэтапное решение позволяет вероятностное моделирование плохо обусловленной задачи восстановления трехмерных объектов по одному изображению, сохраняя при этом высокую вычислительную эффективность и отличное качество выходных данных. Использование облаков точек в качестве промежуточного представления также позволяет интерактивное редактирование пользователем. Протестированный на различных наборах данных, SPAR3D демонстрирует превосходное качество по сравнению с предыдущими передовыми методами, обеспечивая скорость вывода 0,7 секунды. Страница проекта с кодом и моделью: https://spar3d.github.io

English

We study the problem of single-image 3D object reconstruction. Recent works have diverged into two directions: regression-based modeling and generative modeling. Regression methods efficiently infer visible surfaces, but struggle with occluded regions. Generative methods handle uncertain regions better by modeling distributions, but are computationally expensive and the generation is often misaligned with visible surfaces. In this paper, we present SPAR3D, a novel two-stage approach aiming to take the best of both directions. The first stage of SPAR3D generates sparse 3D point clouds using a lightweight point diffusion model, which has a fast sampling speed. The second stage uses both the sampled point cloud and the input image to create highly detailed meshes. Our two-stage design enables probabilistic modeling of the ill-posed single-image 3D task while maintaining high computational efficiency and great output fidelity. Using point clouds as an intermediate representation further allows for interactive user edits. Evaluated on diverse datasets, SPAR3D demonstrates superior performance over previous state-of-the-art methods, at an inference speed of 0.7 seconds. Project page with code and model: https://spar3d.github.io