AuraFusion360：360°無限シーン補完のための参照ベースの見えない領域の拡張を行うAI

AuraFusion360: Augmented Unseen Region Alignment for Reference-based 360° Unbounded Scene Inpainting

February 7, 2025

著者: Chung-Ho Wu, Yang-Jung Chen, Ying-Huan Chen, Jie-Ying Lee, Bo-Hsu Ke, Chun-Wei Tuan Mu, Yi-Chuan Huang, Chin-Yang Lin, Min-Hung Chen, Yen-Yu Lin, Yu-Lun Liu

cs.AI

要旨

仮想現実から建築ビジュアライゼーションに至るアプリケーションにおいて、三次元シーンの修復は重要ですが、既存の手法は360度の無制限なシーンにおける視点の一貫性と幾何学的精度に課題を抱えています。本研究では、ガウススプラッティングで表現された3Dシーンにおいて高品質なオブジェクト除去と穴埋めを可能にする新しい参照ベースの手法であるAuraFusion360を提案します。当手法は、(1) 正確な遮蔽識別のための深度に敏感な未見マスク生成、(2) 追加のトレーニングを必要とせず正確な初期点配置を可能にするゼロショット手法である適応型ガイド付き深度拡散、および(3) 複数ビューの整合性のためのSDEditベースの詳細強調を導入します。また、360度の無制限なシーン修復のための初の包括的なデータセットである360-USIDを紹介します。幅広い実験により、AuraFusion360が既存の手法を大幅に上回り、劇的な視点変更において幾何学的精度を維持しつつ、優れた知覚品質を達成することが示されました。ビデオ結果やデータセットについては、弊社のプロジェクトページをご覧ください：https://kkennethwu.github.io/aurafusion360/。

English

Three-dimensional scene inpainting is crucial for applications from virtual reality to architectural visualization, yet existing methods struggle with view consistency and geometric accuracy in 360{\deg} unbounded scenes. We present AuraFusion360, a novel reference-based method that enables high-quality object removal and hole filling in 3D scenes represented by Gaussian Splatting. Our approach introduces (1) depth-aware unseen mask generation for accurate occlusion identification, (2) Adaptive Guided Depth Diffusion, a zero-shot method for accurate initial point placement without requiring additional training, and (3) SDEdit-based detail enhancement for multi-view coherence. We also introduce 360-USID, the first comprehensive dataset for 360{\deg} unbounded scene inpainting with ground truth. Extensive experiments demonstrate that AuraFusion360 significantly outperforms existing methods, achieving superior perceptual quality while maintaining geometric accuracy across dramatic viewpoint changes. See our project page for video results and the dataset at https://kkennethwu.github.io/aurafusion360/.