Splatfacto-W: Реализация метода гауссовского сплетинга в Nerfstudio для неограниченных фотоколлекций

Splatfacto-W: A Nerfstudio Implementation of Gaussian Splatting for Unconstrained Photo Collections

July 17, 2024

Авторы: Congrong Xu, Justin Kerr, Angjoo Kanazawa

cs.AI

Аннотация

Синтез нового вида из неограниченных коллекций изображений "на природе" остается значительной, но сложной задачей из-за фотометрических изменений и временных заслонителей, которые затрудняют точную реконструкцию сцены. Предыдущие методы решали эти проблемы, интегрируя встраивания признаков внешнего вида на изображении в нейронные поля радиации (NeRF). Хотя трехмерное гауссовское сплетение (3DGS) обеспечивает более быстрое обучение и реальном времени рендеринг, его адаптация для неограниченных коллекций изображений является нетривиальной из-за существенно отличающейся архитектуры. В данной статье мы представляем подход Splatfacto-W, который интегрирует нейронные цветовые признаки Гаусса и встраивания внешнего вида на изображении в процесс растеризации, а также модель фона на основе сферических гармоник для представления изменяющихся фотометрических внешностей и более точного изображения фонов. Наши ключевые вклады включают моделирование латентного вида, эффективную обработку временных объектов и точное моделирование фона. Splatfacto-W обеспечивает высококачественный синтез нового вида в реальном времени с улучшенной согласованностью сцены в "природных" сценариях. Наш метод улучшает отношение сигнал-шум на пике (PSNR) в среднем на 5,3 дБ по сравнению с 3DGS, увеличивает скорость обучения в 150 раз по сравнению с методами на основе NeRF и достигает аналогичной скорости рендеринга по сравнению с 3DGS. Дополнительные видеорезультаты и код, интегрированный в Nerfstudio, доступны по ссылке https://kevinxu02.github.io/splatfactow/.

English

Novel view synthesis from unconstrained in-the-wild image collections remains a significant yet challenging task due to photometric variations and transient occluders that complicate accurate scene reconstruction. Previous methods have approached these issues by integrating per-image appearance features embeddings in Neural Radiance Fields (NeRFs). Although 3D Gaussian Splatting (3DGS) offers faster training and real-time rendering, adapting it for unconstrained image collections is non-trivial due to the substantially different architecture. In this paper, we introduce Splatfacto-W, an approach that integrates per-Gaussian neural color features and per-image appearance embeddings into the rasterization process, along with a spherical harmonics-based background model to represent varying photometric appearances and better depict backgrounds. Our key contributions include latent appearance modeling, efficient transient object handling, and precise background modeling. Splatfacto-W delivers high-quality, real-time novel view synthesis with improved scene consistency in in-the-wild scenarios. Our method improves the Peak Signal-to-Noise Ratio (PSNR) by an average of 5.3 dB compared to 3DGS, enhances training speed by 150 times compared to NeRF-based methods, and achieves a similar rendering speed to 3DGS. Additional video results and code integrated into Nerfstudio are available at https://kevinxu02.github.io/splatfactow/.