SPAR3D: Stabile punktbewusste Rekonstruktion von 3D-Objekten aus einzelnen Bildern

SPAR3D: Stable Point-Aware Reconstruction of 3D Objects from Single Images

January 8, 2025

Autoren: Zixuan Huang, Mark Boss, Aaryaman Vasishta, James M. Rehg, Varun Jampani

cs.AI

Zusammenfassung

Wir untersuchen das Problem der 3D-Objektrekonstruktion aus einem einzigen Bild. Aktuelle Arbeiten haben sich in zwei Richtungen entwickelt: regressionsbasierte Modellierung und generative Modellierung. Regressionsmethoden schließen sichtbare Oberflächen effizient, haben jedoch Schwierigkeiten mit verdeckten Regionen. Generative Methoden handhaben unsichere Regionen besser, indem sie Verteilungen modellieren, sind jedoch rechenaufwendig und die Generierung ist häufig nicht mit den sichtbaren Oberflächen ausgerichtet. In diesem Artikel präsentieren wir SPAR3D, einen neuartigen zweistufigen Ansatz, der das Beste aus beiden Richtungen vereinen soll. Die erste Stufe von SPAR3D generiert spärliche 3D-Punktwolken mithilfe eines leichten Punktverdünnungsmodells, das eine schnelle Abtastgeschwindigkeit aufweist. Die zweite Stufe verwendet sowohl die abgetastete Punktwolke als auch das Eingangsbild, um hochdetaillierte Gitter zu erstellen. Unser zweistufiges Design ermöglicht eine probabilistische Modellierung der schlecht gestellten Aufgabe der 3D-Rekonstruktion aus einem einzigen Bild, während gleichzeitig eine hohe Rechenleistung und eine hohe Ausgabetreue beibehalten werden. Die Verwendung von Punktwolken als Zwischenrepräsentation ermöglicht zudem interaktive Benutzerbearbeitungen. Anhand verschiedener Datensätze zeigt SPAR3D eine überlegene Leistung im Vergleich zu früheren State-of-the-Art-Methoden bei einer Inferenzgeschwindigkeit von 0,7 Sekunden. Projektseite mit Code und Modell: https://spar3d.github.io

English

We study the problem of single-image 3D object reconstruction. Recent works have diverged into two directions: regression-based modeling and generative modeling. Regression methods efficiently infer visible surfaces, but struggle with occluded regions. Generative methods handle uncertain regions better by modeling distributions, but are computationally expensive and the generation is often misaligned with visible surfaces. In this paper, we present SPAR3D, a novel two-stage approach aiming to take the best of both directions. The first stage of SPAR3D generates sparse 3D point clouds using a lightweight point diffusion model, which has a fast sampling speed. The second stage uses both the sampled point cloud and the input image to create highly detailed meshes. Our two-stage design enables probabilistic modeling of the ill-posed single-image 3D task while maintaining high computational efficiency and great output fidelity. Using point clouds as an intermediate representation further allows for interactive user edits. Evaluated on diverse datasets, SPAR3D demonstrates superior performance over previous state-of-the-art methods, at an inference speed of 0.7 seconds. Project page with code and model: https://spar3d.github.io