SPAR3D : Reconstruction Stable d'Objets 3D à partir d'Images Simples en Tenant Compte des Points

SPAR3D: Stable Point-Aware Reconstruction of 3D Objects from Single Images

January 8, 2025

Auteurs: Zixuan Huang, Mark Boss, Aaryaman Vasishta, James M. Rehg, Varun Jampani

cs.AI

Résumé

Nous étudions le problème de la reconstruction tridimensionnelle d'objets à partir d'une seule image. Les travaux récents se sont divergés en deux directions : la modélisation basée sur la régression et la modélisation générative. Les méthodes de régression infèrent efficacement les surfaces visibles, mais rencontrent des difficultés avec les régions occultées. Les méthodes génératives gèrent mieux les régions incertaines en modélisant des distributions, mais sont computationnellement coûteuses et la génération est souvent mal alignée avec les surfaces visibles. Dans cet article, nous présentons SPAR3D, une approche novatrice en deux étapes visant à tirer le meilleur parti des deux directions. La première étape de SPAR3D génère des nuages de points 3D épars en utilisant un modèle de diffusion de points léger, qui a une vitesse d'échantillonnage rapide. La deuxième étape utilise à la fois le nuage de points échantillonné et l'image d'entrée pour créer des maillages très détaillés. Notre conception en deux étapes permet une modélisation probabiliste de la tâche tridimensionnelle à partir d'une seule image, tout en maintenant une efficacité computationnelle élevée et une grande fidélité de sortie. L'utilisation de nuages de points comme représentation intermédiaire permet en outre des modifications interactives par l'utilisateur. Évalué sur des ensembles de données divers, SPAR3D démontre des performances supérieures aux méthodes précédentes de pointe, à une vitesse d'inférence de 0,7 seconde. Page du projet avec le code et le modèle : https://spar3d.github.io

English

We study the problem of single-image 3D object reconstruction. Recent works have diverged into two directions: regression-based modeling and generative modeling. Regression methods efficiently infer visible surfaces, but struggle with occluded regions. Generative methods handle uncertain regions better by modeling distributions, but are computationally expensive and the generation is often misaligned with visible surfaces. In this paper, we present SPAR3D, a novel two-stage approach aiming to take the best of both directions. The first stage of SPAR3D generates sparse 3D point clouds using a lightweight point diffusion model, which has a fast sampling speed. The second stage uses both the sampled point cloud and the input image to create highly detailed meshes. Our two-stage design enables probabilistic modeling of the ill-posed single-image 3D task while maintaining high computational efficiency and great output fidelity. Using point clouds as an intermediate representation further allows for interactive user edits. Evaluated on diverse datasets, SPAR3D demonstrates superior performance over previous state-of-the-art methods, at an inference speed of 0.7 seconds. Project page with code and model: https://spar3d.github.io