AuraFusion360: Alinhamento de Região Não Vistas Aumentadas para Preenchimento de Cena Ilimitada de 360° com Referência.

AuraFusion360: Augmented Unseen Region Alignment for Reference-based 360° Unbounded Scene Inpainting

February 7, 2025

Autores: Chung-Ho Wu, Yang-Jung Chen, Ying-Huan Chen, Jie-Ying Lee, Bo-Hsu Ke, Chun-Wei Tuan Mu, Yi-Chuan Huang, Chin-Yang Lin, Min-Hung Chen, Yen-Yu Lin, Yu-Lun Liu

cs.AI

Resumo

A inpainting de cena tridimensional é crucial para aplicações que vão desde realidade virtual até visualização arquitetônica, no entanto, os métodos existentes enfrentam dificuldades com consistência de visualização e precisão geométrica em cenas não limitadas a 360 graus. Apresentamos o AuraFusion360, um método inovador baseado em referências que permite a remoção de objetos e preenchimento de buracos de alta qualidade em cenas 3D representadas por Gaussian Splatting. Nossa abordagem introduz (1) geração de máscara não vista sensível à profundidade para identificação precisa de oclusão, (2) Difusão Adaptativa de Profundidade Guiada, um método de zero-shot para posicionamento inicial preciso sem necessidade de treinamento adicional, e (3) aprimoramento de detalhes baseado em SDEdit para coerência multi-visualização. Também apresentamos o 360-USID, o primeiro conjunto de dados abrangente para inpainting de cena não limitada a 360 graus com verdade terrestre. Experimentos extensivos demonstram que o AuraFusion360 supera significativamente os métodos existentes, alcançando qualidade perceptual superior ao mesmo tempo que mantém precisão geométrica em mudanças dramáticas de ponto de vista. Consulte nossa página do projeto para resultados em vídeo e o conjunto de dados em https://kkennethwu.github.io/aurafusion360/.

English

Three-dimensional scene inpainting is crucial for applications from virtual reality to architectural visualization, yet existing methods struggle with view consistency and geometric accuracy in 360{\deg} unbounded scenes. We present AuraFusion360, a novel reference-based method that enables high-quality object removal and hole filling in 3D scenes represented by Gaussian Splatting. Our approach introduces (1) depth-aware unseen mask generation for accurate occlusion identification, (2) Adaptive Guided Depth Diffusion, a zero-shot method for accurate initial point placement without requiring additional training, and (3) SDEdit-based detail enhancement for multi-view coherence. We also introduce 360-USID, the first comprehensive dataset for 360{\deg} unbounded scene inpainting with ground truth. Extensive experiments demonstrate that AuraFusion360 significantly outperforms existing methods, achieving superior perceptual quality while maintaining geometric accuracy across dramatic viewpoint changes. See our project page for video results and the dataset at https://kkennethwu.github.io/aurafusion360/.