FDGaussian: Snelle Gaussische Splatting vanuit Enkele Afbeelding via Geometrisch Bewust Diffusiemodel

FDGaussian: Fast Gaussian Splatting from Single Image via Geometric-aware Diffusion Model

March 15, 2024

Auteurs: Qijun Feng, Zhen Xing, Zuxuan Wu, Yu-Gang Jiang

cs.AI

Samenvatting

Het reconstrueren van gedetailleerde 3D-objecten vanuit afbeeldingen met één beeldhoek blijft een uitdagende taak vanwege de beperkte beschikbare informatie. In dit artikel introduceren we FDGaussian, een nieuw tweestaps raamwerk voor 3D-reconstructie vanuit één afbeelding. Recente methoden maken doorgaans gebruik van vooraf getrainde 2D-diffusiemodellen om plausibele nieuwe aanzichten te genereren vanuit de invoerafbeelding, maar ze kampen met problemen zoals inconsistentie tussen meerdere aanzichten of een gebrek aan geometrische nauwkeurigheid. Om deze uitdagingen te overwinnen, stellen we een orthogonaal vlakdecompositiemechanisme voor om 3D-geometrische kenmerken te extraheren uit de 2D-invoer, waardoor het genereren van consistente multi-view afbeeldingen mogelijk wordt. Bovendien versnellen we de state-of-the-art Gaussian Splatting door epipolaire aandacht te integreren om afbeeldingen vanuit verschillende gezichtspunten samen te voegen. We tonen aan dat FDGaussian afbeeldingen genereert met een hoge consistentie tussen verschillende aanzichten en hoogwaardige 3D-objecten reconstrueert, zowel kwalitatief als kwantitatief. Meer voorbeelden zijn te vinden op onze website https://qjfeng.net/FDGaussian/.

English

Reconstructing detailed 3D objects from single-view images remains a challenging task due to the limited information available. In this paper, we introduce FDGaussian, a novel two-stage framework for single-image 3D reconstruction. Recent methods typically utilize pre-trained 2D diffusion models to generate plausible novel views from the input image, yet they encounter issues with either multi-view inconsistency or lack of geometric fidelity. To overcome these challenges, we propose an orthogonal plane decomposition mechanism to extract 3D geometric features from the 2D input, enabling the generation of consistent multi-view images. Moreover, we further accelerate the state-of-the-art Gaussian Splatting incorporating epipolar attention to fuse images from different viewpoints. We demonstrate that FDGaussian generates images with high consistency across different views and reconstructs high-quality 3D objects, both qualitatively and quantitatively. More examples can be found at our website https://qjfeng.net/FDGaussian/.