BlockGaussian : Synthèse efficace de nouvelles vues à grande échelle via un éclatement gaussien adaptatif par blocs

BlockGaussian: Efficient Large-Scale Scene Novel View Synthesis via Adaptive Block-Based Gaussian Splatting

April 12, 2025

Auteurs: Yongchang Wu, Zipeng Qi, Zhenwei Shi, Zhengxia Zou

cs.AI

Résumé

Les récents progrès dans le domaine du 3D Gaussian Splatting (3DGS) ont démontré un potentiel remarquable pour les tâches de synthèse de nouvelles vues. Le paradigme de division pour mieux régner a permis la reconstruction de scènes à grande échelle, mais des défis importants subsistent dans les processus de partitionnement, d'optimisation et de fusion des scènes. Cet article présente BlockGaussian, un nouveau cadre intégrant une stratégie de partitionnement de scène basée sur le contenu et une optimisation par blocs prenant en compte la visibilité, afin d'atteindre une reconstruction de scène à grande échelle à la fois efficace et de haute qualité. Plus précisément, notre approche prend en compte la variation de complexité du contenu dans différentes régions et équilibre la charge de calcul lors du partitionnement de la scène, permettant ainsi une reconstruction efficace. Pour résoudre le problème de désalignement de supervision lors de l'optimisation indépendante des blocs, nous introduisons des points auxiliaires pendant l'optimisation individuelle des blocs pour aligner la supervision de référence, ce qui améliore la qualité de la reconstruction. De plus, nous proposons une contrainte géométrique de pseudo-vue qui atténue efficacement la dégradation du rendu causée par les artefacts flottants dans l'espace aérien lors de la fusion des blocs. Des expériences approfondies sur des scènes à grande échelle montrent que notre approche atteint des performances de pointe à la fois en efficacité de reconstruction et en qualité de rendu, avec une accélération de l'optimisation par un facteur de 5 et une amélioration moyenne du PSNR de 1,21 dB sur plusieurs benchmarks. Notamment, BlockGaussian réduit considérablement les besoins en calcul, permettant la reconstruction de scènes à grande échelle sur un seul appareil doté de 24 Go de VRAM. La page du projet est disponible à l'adresse suivante : https://github.com/SunshineWYC/BlockGaussian.

English

The recent advancements in 3D Gaussian Splatting (3DGS) have demonstrated remarkable potential in novel view synthesis tasks. The divide-and-conquer paradigm has enabled large-scale scene reconstruction, but significant challenges remain in scene partitioning, optimization, and merging processes. This paper introduces BlockGaussian, a novel framework incorporating a content-aware scene partition strategy and visibility-aware block optimization to achieve efficient and high-quality large-scale scene reconstruction. Specifically, our approach considers the content-complexity variation across different regions and balances computational load during scene partitioning, enabling efficient scene reconstruction. To tackle the supervision mismatch issue during independent block optimization, we introduce auxiliary points during individual block optimization to align the ground-truth supervision, which enhances the reconstruction quality. Furthermore, we propose a pseudo-view geometry constraint that effectively mitigates rendering degradation caused by airspace floaters during block merging. Extensive experiments on large-scale scenes demonstrate that our approach achieves state-of-the-art performance in both reconstruction efficiency and rendering quality, with a 5x speedup in optimization and an average PSNR improvement of 1.21 dB on multiple benchmarks. Notably, BlockGaussian significantly reduces computational requirements, enabling large-scale scene reconstruction on a single 24GB VRAM device. The project page is available at https://github.com/SunshineWYC/BlockGaussian