AuraFusion360: Allineamento dell'Area Invisibile Aumentata per il Riempimento delle Scene Illimitate a 360° Basato su Riferimento

AuraFusion360: Augmented Unseen Region Alignment for Reference-based 360° Unbounded Scene Inpainting

February 7, 2025

Autori: Chung-Ho Wu, Yang-Jung Chen, Ying-Huan Chen, Jie-Ying Lee, Bo-Hsu Ke, Chun-Wei Tuan Mu, Yi-Chuan Huang, Chin-Yang Lin, Min-Hung Chen, Yen-Yu Lin, Yu-Lun Liu

cs.AI

Abstract

Il ripristino di scene tridimensionali è cruciale per applicazioni dalla realtà virtuale alla visualizzazione architettonica, tuttavia i metodi esistenti faticano con la coerenza visiva e l'accuratezza geometrica nelle scene illimitate a 360°. Presentiamo AuraFusion360, un nuovo metodo basato su riferimenti che consente la rimozione di oggetti di alta qualità e il riempimento di buchi in scene 3D rappresentate tramite Gaussian Splatting. Il nostro approccio introduce (1) la generazione di maschere non viste consapevoli della profondità per un'identificazione accurata delle occlusioni, (2) la Diffusione della Profondità Guidata Adattiva, un metodo a zero scatti per un posizionamento iniziale accurato dei punti senza richiedere ulteriore addestramento, e (3) l'ottimizzazione dei dettagli basata su SDEdit per la coerenza multi-vista. Introduciamo anche 360-USID, il primo dataset completo per il ripristino di scene illimitate a 360° con verità sul campo. Estesi esperimenti dimostrano che AuraFusion360 supera significativamente i metodi esistenti, raggiungendo una qualità percettiva superiore pur mantenendo un'accuratezza geometrica attraverso cambiamenti drastici dei punti di vista. Consultare la nostra pagina del progetto per i risultati video e il dataset su https://kkennethwu.github.io/aurafusion360/.

English

Three-dimensional scene inpainting is crucial for applications from virtual reality to architectural visualization, yet existing methods struggle with view consistency and geometric accuracy in 360{\deg} unbounded scenes. We present AuraFusion360, a novel reference-based method that enables high-quality object removal and hole filling in 3D scenes represented by Gaussian Splatting. Our approach introduces (1) depth-aware unseen mask generation for accurate occlusion identification, (2) Adaptive Guided Depth Diffusion, a zero-shot method for accurate initial point placement without requiring additional training, and (3) SDEdit-based detail enhancement for multi-view coherence. We also introduce 360-USID, the first comprehensive dataset for 360{\deg} unbounded scene inpainting with ground truth. Extensive experiments demonstrate that AuraFusion360 significantly outperforms existing methods, achieving superior perceptual quality while maintaining geometric accuracy across dramatic viewpoint changes. See our project page for video results and the dataset at https://kkennethwu.github.io/aurafusion360/.