BlockGaussian: 적응형 블록 기반 가우시안 스플래팅을 통한 대규모 장면의 효율적 신시점 합성

BlockGaussian: Efficient Large-Scale Scene Novel View Synthesis via Adaptive Block-Based Gaussian Splatting

April 12, 2025

저자: Yongchang Wu, Zipeng Qi, Zhenwei Shi, Zhengxia Zou

cs.AI

초록

최근 3D 가우시안 스플래팅(3DGS)의 발전은 새로운 시점 합성 작업에서 놀라운 잠재력을 보여주었습니다. 분할 정복(divide-and-conquer) 패러다임은 대규모 장면 재구성을 가능하게 했지만, 장면 분할, 최적화 및 병합 과정에서 여전히 상당한 과제가 남아 있습니다. 본 논문은 BlockGaussian이라는 새로운 프레임워크를 소개하며, 이는 콘텐츠 인식 장면 분할 전략과 가시성 인식 블록 최적화를 통해 효율적이고 고품질의 대규모 장면 재구성을 달성합니다. 구체적으로, 우리의 접근 방식은 다양한 영역 간의 콘텐츠 복잡성 변화를 고려하고 장면 분할 과정에서 계산 부하를 균형 있게 분배하여 효율적인 장면 재구성을 가능하게 합니다. 독립적인 블록 최적화 과정에서 발생하는 감독 불일치 문제를 해결하기 위해, 우리는 개별 블록 최적화 과정에서 보조 점(auxiliary points)을 도입하여 실제 감독을 정렬함으로써 재구성 품질을 향상시켰습니다. 또한, 블록 병합 과정에서 공중 부유체(airspace floaters)로 인한 렌더링 저하를 효과적으로 완화하기 위해 가상 시점 기하학적 제약(pseudo-view geometry constraint)을 제안합니다. 대규모 장면에 대한 광범위한 실험을 통해 우리의 접근 방식이 재구성 효율성과 렌더링 품질 모두에서 최첨단 성능을 달성함을 보여주었으며, 최적화 속도가 5배 빨라지고 여러 벤치마크에서 평균 PSNR이 1.21 dB 향상되었습니다. 특히, BlockGaussian은 계산 요구 사항을 크게 줄여 단일 24GB VRAM 장치에서도 대규모 장면 재구성을 가능하게 합니다. 프로젝트 페이지는 https://github.com/SunshineWYC/BlockGaussian에서 확인할 수 있습니다.

English

The recent advancements in 3D Gaussian Splatting (3DGS) have demonstrated remarkable potential in novel view synthesis tasks. The divide-and-conquer paradigm has enabled large-scale scene reconstruction, but significant challenges remain in scene partitioning, optimization, and merging processes. This paper introduces BlockGaussian, a novel framework incorporating a content-aware scene partition strategy and visibility-aware block optimization to achieve efficient and high-quality large-scale scene reconstruction. Specifically, our approach considers the content-complexity variation across different regions and balances computational load during scene partitioning, enabling efficient scene reconstruction. To tackle the supervision mismatch issue during independent block optimization, we introduce auxiliary points during individual block optimization to align the ground-truth supervision, which enhances the reconstruction quality. Furthermore, we propose a pseudo-view geometry constraint that effectively mitigates rendering degradation caused by airspace floaters during block merging. Extensive experiments on large-scale scenes demonstrate that our approach achieves state-of-the-art performance in both reconstruction efficiency and rendering quality, with a 5x speedup in optimization and an average PSNR improvement of 1.21 dB on multiple benchmarks. Notably, BlockGaussian significantly reduces computational requirements, enabling large-scale scene reconstruction on a single 24GB VRAM device. The project page is available at https://github.com/SunshineWYC/BlockGaussian