AuraFusion360: Alineación Aumentada de Región No Vista para la Inpainting de Escenas Ilimitadas de 360° Basada en Referencias

AuraFusion360: Augmented Unseen Region Alignment for Reference-based 360° Unbounded Scene Inpainting

February 7, 2025

Autores: Chung-Ho Wu, Yang-Jung Chen, Ying-Huan Chen, Jie-Ying Lee, Bo-Hsu Ke, Chun-Wei Tuan Mu, Yi-Chuan Huang, Chin-Yang Lin, Min-Hung Chen, Yen-Yu Lin, Yu-Lun Liu

cs.AI

Resumen

El relleno de escenas tridimensionales es crucial para aplicaciones que van desde la realidad virtual hasta la visualización arquitectónica, sin embargo, los métodos existentes tienen dificultades con la consistencia de vista y la precisión geométrica en escenas no limitadas de 360 grados. Presentamos AuraFusion360, un novedoso método basado en referencias que permite la eliminación de objetos de alta calidad y el relleno de huecos en escenas 3D representadas por Gaussian Splatting. Nuestro enfoque introduce (1) la generación de máscaras no vistas conscientes de la profundidad para una identificación precisa de la oclusión, (2) Difusión de Profundidad Guiada Adaptativa, un método de cero disparos para una colocación inicial precisa de puntos sin necesidad de entrenamiento adicional, y (3) Mejora de detalles basada en SDEdit para coherencia multi-vista. También presentamos 360-USID, el primer conjunto de datos integral para el relleno de escenas no limitadas de 360 grados con verdad terreno. Experimentos extensos demuestran que AuraFusion360 supera significativamente a los métodos existentes, logrando una calidad perceptual superior al tiempo que mantiene la precisión geométrica a través de cambios dramáticos en el punto de vista. Consulte nuestra página del proyecto para ver los resultados en video y el conjunto de datos en https://kkennethwu.github.io/aurafusion360/.

English

Three-dimensional scene inpainting is crucial for applications from virtual reality to architectural visualization, yet existing methods struggle with view consistency and geometric accuracy in 360{\deg} unbounded scenes. We present AuraFusion360, a novel reference-based method that enables high-quality object removal and hole filling in 3D scenes represented by Gaussian Splatting. Our approach introduces (1) depth-aware unseen mask generation for accurate occlusion identification, (2) Adaptive Guided Depth Diffusion, a zero-shot method for accurate initial point placement without requiring additional training, and (3) SDEdit-based detail enhancement for multi-view coherence. We also introduce 360-USID, the first comprehensive dataset for 360{\deg} unbounded scene inpainting with ground truth. Extensive experiments demonstrate that AuraFusion360 significantly outperforms existing methods, achieving superior perceptual quality while maintaining geometric accuracy across dramatic viewpoint changes. See our project page for video results and the dataset at https://kkennethwu.github.io/aurafusion360/.