AuraFusion360: Versterkte Ongeziene Regio-uitlijning voor Referentie-gebaseerde 360° Onbegrensde Scène-inpainting

AuraFusion360: Augmented Unseen Region Alignment for Reference-based 360° Unbounded Scene Inpainting

February 7, 2025

Auteurs: Chung-Ho Wu, Yang-Jung Chen, Ying-Huan Chen, Jie-Ying Lee, Bo-Hsu Ke, Chun-Wei Tuan Mu, Yi-Chuan Huang, Chin-Yang Lin, Min-Hung Chen, Yen-Yu Lin, Yu-Lun Liu

cs.AI

Samenvatting

Het inpainten van driedimensionale scènes is cruciaal voor toepassingen van virtual reality tot architecturale visualisatie, maar bestaande methoden worstelen met consistentie van het zicht en geometrische nauwkeurigheid in 360 graden onbegrensde scènes. Wij presenteren AuraFusion360, een nieuw referentiegebaseerde methode die hoogwaardige objectverwijdering en gatenvulling mogelijk maakt in 3D-scènes die worden vertegenwoordigd door Gaussische Splatting. Onze aanpak introduceert (1) diepte-gevoelige ongeziene maskergeneratie voor nauwkeurige occlusie-identificatie, (2) Adaptieve Geleide Dieptediffusie, een zero-shot methode voor nauwkeurige initiële puntplaatsing zonder extra training te vereisen, en (3) SDEdit-gebaseerde detailverbetering voor multi-view coherentie. We introduceren ook 360-USID, de eerste uitgebreide dataset voor 360 graden onbegrensde scène inpainting met ground truth. Uitgebreide experimenten tonen aan dat AuraFusion360 aanzienlijk beter presteert dan bestaande methoden, met superieure perceptuele kwaliteit en behoud van geometrische nauwkeurigheid bij dramatische veranderingen in het gezichtspunt. Bekijk onze projectpagina voor videorresultaten en de dataset op https://kkennethwu.github.io/aurafusion360/.

English

Three-dimensional scene inpainting is crucial for applications from virtual reality to architectural visualization, yet existing methods struggle with view consistency and geometric accuracy in 360{\deg} unbounded scenes. We present AuraFusion360, a novel reference-based method that enables high-quality object removal and hole filling in 3D scenes represented by Gaussian Splatting. Our approach introduces (1) depth-aware unseen mask generation for accurate occlusion identification, (2) Adaptive Guided Depth Diffusion, a zero-shot method for accurate initial point placement without requiring additional training, and (3) SDEdit-based detail enhancement for multi-view coherence. We also introduce 360-USID, the first comprehensive dataset for 360{\deg} unbounded scene inpainting with ground truth. Extensive experiments demonstrate that AuraFusion360 significantly outperforms existing methods, achieving superior perceptual quality while maintaining geometric accuracy across dramatic viewpoint changes. See our project page for video results and the dataset at https://kkennethwu.github.io/aurafusion360/.