AuraFusion360 : Alignement de la région invisible augmentée pour l'inpainting de scènes non bornées à 360° basé sur une référence

AuraFusion360: Augmented Unseen Region Alignment for Reference-based 360° Unbounded Scene Inpainting

February 7, 2025

Auteurs: Chung-Ho Wu, Yang-Jung Chen, Ying-Huan Chen, Jie-Ying Lee, Bo-Hsu Ke, Chun-Wei Tuan Mu, Yi-Chuan Huang, Chin-Yang Lin, Min-Hung Chen, Yen-Yu Lin, Yu-Lun Liu

cs.AI

Résumé

L'inpainting de scène tridimensionnelle est crucial pour des applications allant de la réalité virtuelle à la visualisation architecturale, cependant les méthodes existantes peinent avec la cohérence des vues et la précision géométrique dans des scènes non bornées à 360 degrés. Nous présentons AuraFusion360, une nouvelle méthode basée sur des références qui permet d'effectuer un retrait d'objet de haute qualité et de remplir les trous dans des scènes 3D représentées par Gaussian Splatting. Notre approche introduit (1) la génération de masque invisible basée sur la profondeur pour une identification précise des occlusions, (2) la Diffusion de Profondeur Guidée Adaptative, une méthode sans apprentissage préalable pour un placement initial précis des points sans nécessiter de formation supplémentaire, et (3) l'amélioration des détails basée sur SDEdit pour une cohérence multi-vues. Nous introduisons également 360-USID, le premier ensemble de données complet pour l'inpainting de scènes non bornées à 360 degrés avec vérité terrain. Des expériences approfondies démontrent qu'AuraFusion360 surpasse significativement les méthodes existantes, atteignant une qualité perceptuelle supérieure tout en maintenant une précision géométrique à travers des changements de point de vue dramatiques. Consultez notre page de projet pour les résultats vidéo et l'ensemble de données sur https://kkennethwu.github.io/aurafusion360/.

English

Three-dimensional scene inpainting is crucial for applications from virtual reality to architectural visualization, yet existing methods struggle with view consistency and geometric accuracy in 360{\deg} unbounded scenes. We present AuraFusion360, a novel reference-based method that enables high-quality object removal and hole filling in 3D scenes represented by Gaussian Splatting. Our approach introduces (1) depth-aware unseen mask generation for accurate occlusion identification, (2) Adaptive Guided Depth Diffusion, a zero-shot method for accurate initial point placement without requiring additional training, and (3) SDEdit-based detail enhancement for multi-view coherence. We also introduce 360-USID, the first comprehensive dataset for 360{\deg} unbounded scene inpainting with ground truth. Extensive experiments demonstrate that AuraFusion360 significantly outperforms existing methods, achieving superior perceptual quality while maintaining geometric accuracy across dramatic viewpoint changes. See our project page for video results and the dataset at https://kkennethwu.github.io/aurafusion360/.