AuraFusion360: Erweiterte unsichtbare Regionenausrichtung für referenzbasiertes 360°-Unbegrenztes Szenen-Inpainting.

AuraFusion360: Augmented Unseen Region Alignment for Reference-based 360° Unbounded Scene Inpainting

February 7, 2025

Autoren: Chung-Ho Wu, Yang-Jung Chen, Ying-Huan Chen, Jie-Ying Lee, Bo-Hsu Ke, Chun-Wei Tuan Mu, Yi-Chuan Huang, Chin-Yang Lin, Min-Hung Chen, Yen-Yu Lin, Yu-Lun Liu

cs.AI

Zusammenfassung

Die Inpainting von dreidimensionalen Szenen ist entscheidend für Anwendungen von Virtual Reality bis zur architektonischen Visualisierung, doch bestehende Methoden haben Schwierigkeiten mit der Ansichtskonsistenz und der geometrischen Genauigkeit in 360{\deg} unbeschränkten Szenen. Wir präsentieren AuraFusion360, eine neuartige referenzbasierte Methode, die hochwertige Objektentfernung und Lochfüllung in 3D-Szenen ermöglicht, die durch Gauss'sches Splatting dargestellt werden. Unser Ansatz führt (1) die Tiefen-bewusste Erzeugung von unsichtbaren Masken für eine genaue Okklusionserkennung, (2) Adaptive Guided Depth Diffusion, eine Zero-Shot-Methode für eine genaue initiale Punktplatzierung ohne zusätzliches Training, und (3) SDEdit-basierte Detailverbesserung für eine Mehr-Ansicht-Kohärenz ein. Wir stellen auch 360-USID vor, den ersten umfassenden Datensatz für das Inpainting von 360{\deg} unbeschränkten Szenen mit Ground Truth. Umfangreiche Experimente zeigen, dass AuraFusion360 bestehende Methoden signifikant übertrifft, eine überlegene perzeptive Qualität erreicht und gleichzeitig die geometrische Genauigkeit bei dramatischen Ansichtsänderungen beibehält. Besuchen Sie unsere Projektseite für Videoergebnisse und den Datensatz unter https://kkennethwu.github.io/aurafusion360/.

English

Three-dimensional scene inpainting is crucial for applications from virtual reality to architectural visualization, yet existing methods struggle with view consistency and geometric accuracy in 360{\deg} unbounded scenes. We present AuraFusion360, a novel reference-based method that enables high-quality object removal and hole filling in 3D scenes represented by Gaussian Splatting. Our approach introduces (1) depth-aware unseen mask generation for accurate occlusion identification, (2) Adaptive Guided Depth Diffusion, a zero-shot method for accurate initial point placement without requiring additional training, and (3) SDEdit-based detail enhancement for multi-view coherence. We also introduce 360-USID, the first comprehensive dataset for 360{\deg} unbounded scene inpainting with ground truth. Extensive experiments demonstrate that AuraFusion360 significantly outperforms existing methods, achieving superior perceptual quality while maintaining geometric accuracy across dramatic viewpoint changes. See our project page for video results and the dataset at https://kkennethwu.github.io/aurafusion360/.