AuraFusion360: Улучшенное выравнивание невидимой области для восстановления 360° безграничного сценария на основе ссылок

AuraFusion360: Augmented Unseen Region Alignment for Reference-based 360° Unbounded Scene Inpainting

February 7, 2025

Авторы: Chung-Ho Wu, Yang-Jung Chen, Ying-Huan Chen, Jie-Ying Lee, Bo-Hsu Ke, Chun-Wei Tuan Mu, Yi-Chuan Huang, Chin-Yang Lin, Min-Hung Chen, Yen-Yu Lin, Yu-Lun Liu

cs.AI

Аннотация

Трехмерное восстановление сцены является важным для приложений от виртуальной реальности до архитектурной визуализации, однако существующие методы испытывают трудности с согласованием видов и геометрической точностью в 360{\deg} неограниченных сценах. Мы представляем AuraFusion360, новый метод на основе ссылок, который обеспечивает высококачественное удаление объектов и заполнение дыр в трехмерных сценах, представленных методом Гауссова сглаживания. Наш подход включает (1) генерацию маски невидимых объектов с учетом глубины для точной идентификации заслонений, (2) Адаптивную Разностную Диффузию по Глубине, метод нулевого обучения для точного размещения начальной точки без дополнительного обучения, и (3) улучшение деталей на основе SDEdit для согласованности многопроекционного изображения. Мы также представляем 360-USID, первый полный набор данных для восстановления сцен в 360{\deg} неограниченных сцен с истиной в данных. Обширные эксперименты показывают, что AuraFusion360 значительно превосходит существующие методы, достигая превосходного визуального качества, сохраняя геометрическую точность при значительных изменениях точки зрения. Смотрите результаты видео на нашей странице проекта и набор данных по ссылке https://kkennethwu.github.io/aurafusion360/.

English

Three-dimensional scene inpainting is crucial for applications from virtual reality to architectural visualization, yet existing methods struggle with view consistency and geometric accuracy in 360{\deg} unbounded scenes. We present AuraFusion360, a novel reference-based method that enables high-quality object removal and hole filling in 3D scenes represented by Gaussian Splatting. Our approach introduces (1) depth-aware unseen mask generation for accurate occlusion identification, (2) Adaptive Guided Depth Diffusion, a zero-shot method for accurate initial point placement without requiring additional training, and (3) SDEdit-based detail enhancement for multi-view coherence. We also introduce 360-USID, the first comprehensive dataset for 360{\deg} unbounded scene inpainting with ground truth. Extensive experiments demonstrate that AuraFusion360 significantly outperforms existing methods, achieving superior perceptual quality while maintaining geometric accuracy across dramatic viewpoint changes. See our project page for video results and the dataset at https://kkennethwu.github.io/aurafusion360/.