SPAR3D: Stabiele Puntbewuste Reconstructie van 3D Objecten uit Enkele Afbeeldingen

SPAR3D: Stable Point-Aware Reconstruction of 3D Objects from Single Images

January 8, 2025

Auteurs: Zixuan Huang, Mark Boss, Aaryaman Vasishta, James M. Rehg, Varun Jampani

cs.AI

Samenvatting

We bestuderen het probleem van driedimensionale objectreconstructie vanuit één afbeelding. Recente werken zijn uiteengegaan in twee richtingen: regressiegebaseerde modellering en generatieve modellering. Regressiemethoden schatten efficiënt zichtbare oppervlakken in, maar hebben moeite met verduisterde regio's. Generatieve methoden gaan beter om met onzekere regio's door distributies te modelleren, maar zijn rekenintensief en de gegenereerde output is vaak niet uitgelijnd met zichtbare oppervlakken. In dit artikel presenteren we SPAR3D, een nieuw tweestapsbenadering die tot doel heeft het beste van beide richtingen te combineren. De eerste stap van SPAR3D genereert schaarse driedimensionale puntwolken met behulp van een lichtgewicht puntverspreidingsmodel, dat een snelle bemonsteringssnelheid heeft. De tweede stap gebruikt zowel de bemonsterde puntwolk als de invoerafbeelding om zeer gedetailleerde meshes te creëren. Ons tweestapsontwerp maakt probabilistische modellering van de slecht bepaalde enkelvoudige driedimensionale taak mogelijk, met behoud van hoge rekenkundige efficiëntie en grote outputgetrouwheid. Het gebruik van puntwolken als tussenliggende representatie maakt bovendien interactieve gebruikersbewerkingen mogelijk. Geëvalueerd op diverse datasets, toont SPAR3D superieure prestaties ten opzichte van eerdere state-of-the-art methoden, met een inferentiesnelheid van 0,7 seconden. Projectpagina met code en model: https://spar3d.github.io

English

We study the problem of single-image 3D object reconstruction. Recent works have diverged into two directions: regression-based modeling and generative modeling. Regression methods efficiently infer visible surfaces, but struggle with occluded regions. Generative methods handle uncertain regions better by modeling distributions, but are computationally expensive and the generation is often misaligned with visible surfaces. In this paper, we present SPAR3D, a novel two-stage approach aiming to take the best of both directions. The first stage of SPAR3D generates sparse 3D point clouds using a lightweight point diffusion model, which has a fast sampling speed. The second stage uses both the sampled point cloud and the input image to create highly detailed meshes. Our two-stage design enables probabilistic modeling of the ill-posed single-image 3D task while maintaining high computational efficiency and great output fidelity. Using point clouds as an intermediate representation further allows for interactive user edits. Evaluated on diverse datasets, SPAR3D demonstrates superior performance over previous state-of-the-art methods, at an inference speed of 0.7 seconds. Project page with code and model: https://spar3d.github.io