SpaRP: Schnelle 3D-Objektrekonstruktion und Pose-Schätzung aus spärlichen Ansichten

SpaRP: Fast 3D Object Reconstruction and Pose Estimation from Sparse Views

August 19, 2024

Autoren: Chao Xu, Ang Li, Linghao Chen, Yulin Liu, Ruoxi Shi, Hao Su, Minghua Liu

cs.AI

Zusammenfassung

Die Open-World 3D-Generierung hat in letzter Zeit erhebliche Aufmerksamkeit erregt. Während viele Einzelbild-zu-3D-Methoden visuell ansprechende Ergebnisse geliefert haben, fehlt es ihnen oft an ausreichender Steuerbarkeit und sie neigen dazu, halluzinierte Regionen zu erzeugen, die möglicherweise nicht den Erwartungen der Benutzer entsprechen. In diesem Artikel untersuchen wir ein wichtiges Szenario, bei dem die Eingabe aus einem oder wenigen ungeordneten 2D-Bildern eines einzelnen Objekts besteht, mit wenig oder keinem Überlapp. Wir schlagen eine neuartige Methode, SpaRP, vor, um ein 3D-texturiertes Mesh zu rekonstruieren und die relativen Kamerapositionen für diese spärlichen Ansichten zu schätzen. SpaRP destilliert Wissen aus 2D-Diffusionsmodellen und feinabgestimmt sie, um implizit die 3D-raumbezogenen Beziehungen zwischen den spärlichen Ansichten abzuleiten. Das Diffusionsmodell wird darauf trainiert, Ersatzdarstellungen für Kamerapositionen und Mehransichtsbilder des Objekts unter bekannten Positionen gemeinsam vorherzusagen, indem alle Informationen aus den Eingabespärlichen Ansichten integriert werden. Diese Vorhersagen werden dann genutzt, um die 3D-Rekonstruktion und die Positionsabschätzung durchzuführen, wobei das rekonstruierte 3D-Modell verwendet werden kann, um die Kamerapositionen der Eingabebilder weiter zu verfeinern. Durch umfangreiche Experimente mit drei Datensätzen zeigen wir, dass unsere Methode nicht nur signifikant besser abschneidet als Basislinienmethoden in Bezug auf die Qualität der 3D-Rekonstruktion und die Genauigkeit der Positionsabschätzung, sondern auch eine hohe Effizienz aufweist. Es dauert nur etwa 20 Sekunden, um ein texturiertes Mesh und Kamerapositionen für die Eingabebilder zu erstellen. Projektseite: https://chaoxu.xyz/sparp.

English

Open-world 3D generation has recently attracted considerable attention. While many single-image-to-3D methods have yielded visually appealing outcomes, they often lack sufficient controllability and tend to produce hallucinated regions that may not align with users' expectations. In this paper, we explore an important scenario in which the input consists of one or a few unposed 2D images of a single object, with little or no overlap. We propose a novel method, SpaRP, to reconstruct a 3D textured mesh and estimate the relative camera poses for these sparse-view images. SpaRP distills knowledge from 2D diffusion models and finetunes them to implicitly deduce the 3D spatial relationships between the sparse views. The diffusion model is trained to jointly predict surrogate representations for camera poses and multi-view images of the object under known poses, integrating all information from the input sparse views. These predictions are then leveraged to accomplish 3D reconstruction and pose estimation, and the reconstructed 3D model can be used to further refine the camera poses of input views. Through extensive experiments on three datasets, we demonstrate that our method not only significantly outperforms baseline methods in terms of 3D reconstruction quality and pose prediction accuracy but also exhibits strong efficiency. It requires only about 20 seconds to produce a textured mesh and camera poses for the input views. Project page: https://chaoxu.xyz/sparp.