GaussianObject: Slechts Vier Afbeeldingen Nodig om een Hoogwaardig 3D-Object te Creëren met Gaussian Splatting

GaussianObject: Just Taking Four Images to Get A High-Quality 3D Object with Gaussian Splatting

February 15, 2024

Auteurs: Chen Yang, Sikuang Li, Jiemin Fang, Ruofan Liang, Lingxi Xie, Xiaopeng Zhang, Wei Shen, Qi Tian

cs.AI

Samenvatting

Het reconstrueren en renderen van 3D-objecten vanuit zeer beperkte gezichtspunten is van cruciaal belang voor het bevorderen van toepassingen van 3D-visietechnieken en het verbeteren van de gebruikerservaring. Beelden vanuit beperkte gezichtspunten bevatten echter slechts zeer beperkte 3D-informatie, wat leidt tot twee belangrijke uitdagingen: 1) Moeite met het opbouwen van multi-view consistentie omdat er te weinig beelden zijn voor matching; 2) Gedeeltelijk weggelaten of sterk gecomprimeerde objectinformatie omdat de dekking van de gezichtspunten onvoldoende is. Om deze uitdagingen aan te pakken, stellen we GaussianObject voor, een raamwerk om het 3D-object te representeren en te renderen met Gaussian splatting, dat een hoge renderkwaliteit bereikt met slechts 4 invoerbeelden. We introduceren eerst technieken van visuele omhulling en floater eliminatie die expliciet structuurpriors injecteren in het initiële optimalisatieproces om te helpen bij het opbouwen van multi-view consistentie, wat resulteert in een ruwe 3D Gaussian representatie. Vervolgens construeren we een Gaussian reparatiemodel gebaseerd op diffusiemodellen om de weggelaten objectinformatie aan te vullen, waarbij Gaussians verder worden verfijnd. We ontwerpen een zelfgenererende strategie om beeldparen te verkrijgen voor het trainen van het reparatiemodel. Onze GaussianObject wordt geëvalueerd op verschillende uitdagende datasets, waaronder MipNeRF360, OmniObject3D en OpenIllumination, en behaalt sterke reconstructieresultaten vanuit slechts 4 gezichtspunten en overtreft aanzienlijk eerdere state-of-the-art methoden.

English

Reconstructing and rendering 3D objects from highly sparse views is of critical importance for promoting applications of 3D vision techniques and improving user experience. However, images from sparse views only contain very limited 3D information, leading to two significant challenges: 1) Difficulty in building multi-view consistency as images for matching are too few; 2) Partially omitted or highly compressed object information as view coverage is insufficient. To tackle these challenges, we propose GaussianObject, a framework to represent and render the 3D object with Gaussian splatting, that achieves high rendering quality with only 4 input images. We first introduce techniques of visual hull and floater elimination which explicitly inject structure priors into the initial optimization process for helping build multi-view consistency, yielding a coarse 3D Gaussian representation. Then we construct a Gaussian repair model based on diffusion models to supplement the omitted object information, where Gaussians are further refined. We design a self-generating strategy to obtain image pairs for training the repair model. Our GaussianObject is evaluated on several challenging datasets, including MipNeRF360, OmniObject3D, and OpenIllumination, achieving strong reconstruction results from only 4 views and significantly outperforming previous state-of-the-art methods.