BlockGaussian: Síntesis Eficiente de Nuevas Vistas a Gran Escala en Escenas mediante Proyección Gaussiana Adaptativa Basada en Bloques

BlockGaussian: Efficient Large-Scale Scene Novel View Synthesis via Adaptive Block-Based Gaussian Splatting

April 12, 2025

Autores: Yongchang Wu, Zipeng Qi, Zhenwei Shi, Zhengxia Zou

cs.AI

Resumen

Los recientes avances en la técnica de 3D Gaussian Splatting (3DGS) han demostrado un potencial notable en tareas de síntesis de nuevas vistas. El paradigma de divide y vencerás ha permitido la reconstrucción de escenas a gran escala, pero persisten desafíos significativos en los procesos de partición, optimización y fusión de escenas. Este artículo presenta BlockGaussian, un marco novedoso que incorpora una estrategia de partición de escenas consciente del contenido y una optimización de bloques consciente de la visibilidad para lograr una reconstrucción eficiente y de alta calidad en escenas a gran escala. Específicamente, nuestro enfoque considera la variación en la complejidad del contenido en diferentes regiones y equilibra la carga computacional durante la partición de la escena, permitiendo una reconstrucción eficiente. Para abordar el problema de desajuste en la supervisión durante la optimización independiente de bloques, introducimos puntos auxiliares durante la optimización individual de bloques para alinear la supervisión con la verdad de terreno, lo que mejora la calidad de la reconstrucción. Además, proponemos una restricción geométrica de pseudo-vista que mitiga eficazmente la degradación en la renderización causada por artefactos flotantes en el espacio aéreo durante la fusión de bloques. Experimentos extensos en escenas a gran escala demuestran que nuestro enfoque alcanza un rendimiento de vanguardia tanto en eficiencia de reconstrucción como en calidad de renderización, con una aceleración de 5x en la optimización y una mejora promedio de 1.21 dB en PSNR en múltiples benchmarks. Notablemente, BlockGaussian reduce significativamente los requisitos computacionales, permitiendo la reconstrucción de escenas a gran escala en un solo dispositivo con 24GB de VRAM. La página del proyecto está disponible en https://github.com/SunshineWYC/BlockGaussian.

English

The recent advancements in 3D Gaussian Splatting (3DGS) have demonstrated remarkable potential in novel view synthesis tasks. The divide-and-conquer paradigm has enabled large-scale scene reconstruction, but significant challenges remain in scene partitioning, optimization, and merging processes. This paper introduces BlockGaussian, a novel framework incorporating a content-aware scene partition strategy and visibility-aware block optimization to achieve efficient and high-quality large-scale scene reconstruction. Specifically, our approach considers the content-complexity variation across different regions and balances computational load during scene partitioning, enabling efficient scene reconstruction. To tackle the supervision mismatch issue during independent block optimization, we introduce auxiliary points during individual block optimization to align the ground-truth supervision, which enhances the reconstruction quality. Furthermore, we propose a pseudo-view geometry constraint that effectively mitigates rendering degradation caused by airspace floaters during block merging. Extensive experiments on large-scale scenes demonstrate that our approach achieves state-of-the-art performance in both reconstruction efficiency and rendering quality, with a 5x speedup in optimization and an average PSNR improvement of 1.21 dB on multiple benchmarks. Notably, BlockGaussian significantly reduces computational requirements, enabling large-scale scene reconstruction on a single 24GB VRAM device. The project page is available at https://github.com/SunshineWYC/BlockGaussian