FDGaussian: Schnelles Gauss'sches Splatting aus einem Einzelbild über ein geometriebewusstes Diffusionsmodell

FDGaussian: Fast Gaussian Splatting from Single Image via Geometric-aware Diffusion Model

March 15, 2024

Autoren: Qijun Feng, Zhen Xing, Zuxuan Wu, Yu-Gang Jiang

cs.AI

Zusammenfassung

Die Rekonstruktion detaillierter 3D-Objekte aus Einzelbildern bleibt aufgrund der begrenzten verfügbaren Informationen eine anspruchsvolle Aufgabe. In diesem Artikel stellen wir FDGaussian vor, ein neuartiges Zwei-Stufen-Framework für die 3D-Rekonstruktion aus Einzelbildern. Aktuelle Methoden nutzen in der Regel vortrainierte 2D-Diffusionsmodelle, um plausible neue Ansichten des Eingabebildes zu generieren, stoßen jedoch auf Probleme hinsichtlich Mehr-Ansicht-Inkonsistenz oder mangelnder geometrischer Treue. Um diese Herausforderungen zu überwinden, schlagen wir einen orthogonalen Ebenenzerlegungsmechanismus vor, um 3D-geometrische Merkmale aus der 2D-Eingabe zu extrahieren, was die Generierung konsistenter Mehr-Ansicht-Bilder ermöglicht. Darüber hinaus beschleunigen wir den state-of-the-art Gaussian Splatting, indem wir epipolare Aufmerksamkeit integrieren, um Bilder aus verschiedenen Blickwinkeln zu verschmelzen. Wir zeigen, dass FDGaussian Bilder mit hoher Konsistenz über verschiedene Ansichten generiert und qualitativ und quantitativ hochwertige 3D-Objekte rekonstruiert. Weitere Beispiele finden Sie auf unserer Website unter https://qjfeng.net/FDGaussian/.

English

Reconstructing detailed 3D objects from single-view images remains a challenging task due to the limited information available. In this paper, we introduce FDGaussian, a novel two-stage framework for single-image 3D reconstruction. Recent methods typically utilize pre-trained 2D diffusion models to generate plausible novel views from the input image, yet they encounter issues with either multi-view inconsistency or lack of geometric fidelity. To overcome these challenges, we propose an orthogonal plane decomposition mechanism to extract 3D geometric features from the 2D input, enabling the generation of consistent multi-view images. Moreover, we further accelerate the state-of-the-art Gaussian Splatting incorporating epipolar attention to fuse images from different viewpoints. We demonstrate that FDGaussian generates images with high consistency across different views and reconstructs high-quality 3D objects, both qualitatively and quantitatively. More examples can be found at our website https://qjfeng.net/FDGaussian/.