BlockGaussian: Эффективный синтез новых видов крупномасштабных сцен с использованием адаптивного блочного гауссова сплайнинга

BlockGaussian: Efficient Large-Scale Scene Novel View Synthesis via Adaptive Block-Based Gaussian Splatting

April 12, 2025

Авторы: Yongchang Wu, Zipeng Qi, Zhenwei Shi, Zhengxia Zou

cs.AI

Аннотация

Последние достижения в области 3D Gaussian Splatting (3DGS) продемонстрировали значительный потенциал в задачах синтеза новых видов. Парадигма "разделяй и властвуй" позволила осуществить реконструкцию крупномасштабных сцен, однако остаются серьезные вызовы в процессах разделения сцены, оптимизации и слияния. В данной статье представлен BlockGaussian — новый фреймворк, включающий стратегию разделения сцены с учетом контента и оптимизацию блоков с учетом видимости для достижения эффективной и качественной реконструкции крупномасштабных сцен. В частности, наш подход учитывает вариации сложности контента в различных областях и балансирует вычислительную нагрузку при разделении сцены, что обеспечивает эффективную реконструкцию. Для решения проблемы несоответствия контроля при независимой оптимизации блоков мы вводим вспомогательные точки в процессе оптимизации отдельных блоков, чтобы согласовать контроль с эталонными данными, что повышает качество реконструкции. Кроме того, мы предлагаем ограничение на геометрию псевдо-видов, которое эффективно устраняет ухудшение рендеринга, вызванное "плавающими объектами" в воздушном пространстве при слиянии блоков. Многочисленные эксперименты на крупномасштабных сценах показывают, что наш подход достигает наилучших результатов как по эффективности реконструкции, так и по качеству рендеринга, с ускорением оптимизации в 5 раз и улучшением среднего PSNR на 1.21 дБ на нескольких тестовых наборах. Важно отметить, что BlockGaussian значительно снижает вычислительные требования, что делает возможной реконструкцию крупномасштабных сцен на устройстве с 24 ГБ видеопамяти. Страница проекта доступна по адресу https://github.com/SunshineWYC/BlockGaussian.

English

The recent advancements in 3D Gaussian Splatting (3DGS) have demonstrated remarkable potential in novel view synthesis tasks. The divide-and-conquer paradigm has enabled large-scale scene reconstruction, but significant challenges remain in scene partitioning, optimization, and merging processes. This paper introduces BlockGaussian, a novel framework incorporating a content-aware scene partition strategy and visibility-aware block optimization to achieve efficient and high-quality large-scale scene reconstruction. Specifically, our approach considers the content-complexity variation across different regions and balances computational load during scene partitioning, enabling efficient scene reconstruction. To tackle the supervision mismatch issue during independent block optimization, we introduce auxiliary points during individual block optimization to align the ground-truth supervision, which enhances the reconstruction quality. Furthermore, we propose a pseudo-view geometry constraint that effectively mitigates rendering degradation caused by airspace floaters during block merging. Extensive experiments on large-scale scenes demonstrate that our approach achieves state-of-the-art performance in both reconstruction efficiency and rendering quality, with a 5x speedup in optimization and an average PSNR improvement of 1.21 dB on multiple benchmarks. Notably, BlockGaussian significantly reduces computational requirements, enabling large-scale scene reconstruction on a single 24GB VRAM device. The project page is available at https://github.com/SunshineWYC/BlockGaussian