SpaRP: Ricostruzione 3D rapida e stima della posa da viste sparse

SpaRP: Fast 3D Object Reconstruction and Pose Estimation from Sparse Views

August 19, 2024

Autori: Chao Xu, Ang Li, Linghao Chen, Yulin Liu, Ruoxi Shi, Hao Su, Minghua Liu

cs.AI

Abstract

La generazione 3D in mondi aperti ha recentemente attirato notevole attenzione. Sebbene molti metodi che trasformano una singola immagine in 3D abbiano prodotto risultati visivamente accattivanti, spesso mancano di una sufficiente controllabilità e tendono a generare regioni allucinate che potrebbero non corrispondere alle aspettative degli utenti. In questo articolo, esploriamo uno scenario importante in cui l'input è costituito da una o poche immagini 2D non posizionate di un singolo oggetto, con poca o nessuna sovrapposizione. Proponiamo un nuovo metodo, SpaRP, per ricostruire una mesh 3D con texture e stimare le pose relative della camera per queste immagini a vista sparsa. SpaRP estrae conoscenza da modelli di diffusione 2D e li perfeziona per dedurre implicitamente le relazioni spaziali 3D tra le viste sparse. Il modello di diffusione è addestrato a prevedere congiuntamente rappresentazioni surrogate per le pose della camera e immagini multi-vista dell'oggetto sotto pose note, integrando tutte le informazioni dalle viste sparse di input. Queste previsioni vengono poi sfruttate per realizzare la ricostruzione 3D e la stima delle pose, e il modello 3D ricostruito può essere utilizzato per affinare ulteriormente le pose della camera delle viste di input. Attraverso esperimenti estesi su tre dataset, dimostriamo che il nostro metodo non solo supera significativamente i metodi di base in termini di qualità della ricostruzione 3D e accuratezza della previsione delle pose, ma mostra anche una forte efficienza. Richiede solo circa 20 secondi per produrre una mesh con texture e le pose della camera per le viste di input. Pagina del progetto: https://chaoxu.xyz/sparp.

English

Open-world 3D generation has recently attracted considerable attention. While many single-image-to-3D methods have yielded visually appealing outcomes, they often lack sufficient controllability and tend to produce hallucinated regions that may not align with users' expectations. In this paper, we explore an important scenario in which the input consists of one or a few unposed 2D images of a single object, with little or no overlap. We propose a novel method, SpaRP, to reconstruct a 3D textured mesh and estimate the relative camera poses for these sparse-view images. SpaRP distills knowledge from 2D diffusion models and finetunes them to implicitly deduce the 3D spatial relationships between the sparse views. The diffusion model is trained to jointly predict surrogate representations for camera poses and multi-view images of the object under known poses, integrating all information from the input sparse views. These predictions are then leveraged to accomplish 3D reconstruction and pose estimation, and the reconstructed 3D model can be used to further refine the camera poses of input views. Through extensive experiments on three datasets, we demonstrate that our method not only significantly outperforms baseline methods in terms of 3D reconstruction quality and pose prediction accuracy but also exhibits strong efficiency. It requires only about 20 seconds to produce a textured mesh and camera poses for the input views. Project page: https://chaoxu.xyz/sparp.