2DGS-Room: Семеноводное 2D-гауссово сглаживание с геометрическими ограничениями для восстановления трехмерных сцен в помещениях высокой точности

2DGS-Room: Seed-Guided 2D Gaussian Splatting with Geometric Constrains for High-Fidelity Indoor Scene Reconstruction

December 4, 2024

Авторы: Wanting Zhang, Haodong Xiang, Zhichao Liao, Xiansong Lai, Xinghui Li, Long Zeng

cs.AI

Аннотация

Восстановление внутренних сцен остается сложной задачей из-за врожденной сложности пространственных структур и распространенности областей без текстуры. Недавние достижения в 3D Гауссовом сплэттинге улучшили синтез нового вида с ускоренной обработкой, но пока не обеспечили сопоставимую производительность в реконструкции поверхности. В данной статье мы представляем 2DGS-Room, новый метод, использующий 2D Гауссов сплэттинг для высококачественного восстановления внутренних сцен. Конкретно, мы используем механизм, управляемый семенами, для контроля распределения 2D Гауссов, с плотностью семенных точек, динамически оптимизируемой через адаптивные механизмы роста и обрезки. Для дальнейшего улучшения геометрической точности мы включаем монокулярные глубинные и нормальные априорные данные для обеспечения ограничений для деталей и областей без текстуры соответственно. Кроме того, применяются ограничения на консистентность многократного вида для уменьшения артефактов и дальнейшего улучшения качества реконструкции. Обширные эксперименты на наборах данных ScanNet и ScanNet++ демонстрируют, что наш метод достигает передовой производительности в восстановлении внутренних сцен.

English

The reconstruction of indoor scenes remains challenging due to the inherent complexity of spatial structures and the prevalence of textureless regions. Recent advancements in 3D Gaussian Splatting have improved novel view synthesis with accelerated processing but have yet to deliver comparable performance in surface reconstruction. In this paper, we introduce 2DGS-Room, a novel method leveraging 2D Gaussian Splatting for high-fidelity indoor scene reconstruction. Specifically, we employ a seed-guided mechanism to control the distribution of 2D Gaussians, with the density of seed points dynamically optimized through adaptive growth and pruning mechanisms. To further improve geometric accuracy, we incorporate monocular depth and normal priors to provide constraints for details and textureless regions respectively. Additionally, multi-view consistency constraints are employed to mitigate artifacts and further enhance reconstruction quality. Extensive experiments on ScanNet and ScanNet++ datasets demonstrate that our method achieves state-of-the-art performance in indoor scene reconstruction.