BlockGaussian: Síntese Eficiente de Novas Visões em Cenas de Grande Escala via Splatting Gaussiano Baseado em Blocos Adaptativos

BlockGaussian: Efficient Large-Scale Scene Novel View Synthesis via Adaptive Block-Based Gaussian Splatting

April 12, 2025

Autores: Yongchang Wu, Zipeng Qi, Zhenwei Shi, Zhengxia Zou

cs.AI

Resumo

Os recentes avanços na técnica de Splatting Gaussiano 3D (3DGS) demonstraram um potencial notável em tarefas de síntese de novas visões. O paradigma de dividir para conquistar permitiu a reconstrução de cenas em grande escala, mas desafios significativos permanecem nos processos de particionamento de cena, otimização e fusão. Este artigo apresenta o BlockGaussian, um novo framework que incorpora uma estratégia de particionamento de cena consciente do conteúdo e uma otimização de blocos consciente da visibilidade para alcançar uma reconstrução eficiente e de alta qualidade em cenas de grande escala. Especificamente, nossa abordagem considera a variação da complexidade do conteúdo em diferentes regiões e equilibra a carga computacional durante o particionamento da cena, permitindo uma reconstrução eficiente. Para abordar o problema de incompatibilidade de supervisão durante a otimização independente dos blocos, introduzimos pontos auxiliares durante a otimização individual dos blocos para alinhar a supervisão com a verdade fundamental, o que melhora a qualidade da reconstrução. Além disso, propomos uma restrição de geometria de pseudo-visão que mitiga efetivamente a degradação da renderização causada por flutuadores no espaço aéreo durante a fusão dos blocos. Experimentos extensivos em cenas de grande escala demonstram que nossa abordagem alcança desempenho de ponta tanto em eficiência de reconstrução quanto em qualidade de renderização, com uma aceleração de 5x na otimização e uma melhoria média de 1,21 dB no PSNR em múltiplos benchmarks. Notavelmente, o BlockGaussian reduz significativamente os requisitos computacionais, permitindo a reconstrução de cenas de grande escala em um único dispositivo com 24GB de VRAM. A página do projeto está disponível em https://github.com/SunshineWYC/BlockGaussian.

English

The recent advancements in 3D Gaussian Splatting (3DGS) have demonstrated remarkable potential in novel view synthesis tasks. The divide-and-conquer paradigm has enabled large-scale scene reconstruction, but significant challenges remain in scene partitioning, optimization, and merging processes. This paper introduces BlockGaussian, a novel framework incorporating a content-aware scene partition strategy and visibility-aware block optimization to achieve efficient and high-quality large-scale scene reconstruction. Specifically, our approach considers the content-complexity variation across different regions and balances computational load during scene partitioning, enabling efficient scene reconstruction. To tackle the supervision mismatch issue during independent block optimization, we introduce auxiliary points during individual block optimization to align the ground-truth supervision, which enhances the reconstruction quality. Furthermore, we propose a pseudo-view geometry constraint that effectively mitigates rendering degradation caused by airspace floaters during block merging. Extensive experiments on large-scale scenes demonstrate that our approach achieves state-of-the-art performance in both reconstruction efficiency and rendering quality, with a 5x speedup in optimization and an average PSNR improvement of 1.21 dB on multiple benchmarks. Notably, BlockGaussian significantly reduces computational requirements, enabling large-scale scene reconstruction on a single 24GB VRAM device. The project page is available at https://github.com/SunshineWYC/BlockGaussian