Переосмысление представлений глубины для прямого 3D-распределения Гаусса

Revisiting Depth Representations for Feed-Forward 3D Gaussian Splatting

June 5, 2025

Авторы: Duochao Shi, Weijie Wang, Donny Y. Chen, Zeyu Zhang, Jia-Wang Bian, Bohan Zhuang, Chunhua Shen

cs.AI

Аннотация

Карты глубины широко используются в прямых (feed-forward) конвейерах 3D Gaussian Splatting (3DGS) путем их обратного проецирования в 3D облака точек для синтеза новых видов. Этот подход предлагает такие преимущества, как эффективное обучение, использование известных поз камер и точное оценивание геометрии. Однако разрывы глубины на границах объектов часто приводят к фрагментированным или разреженным облакам точек, что ухудшает качество рендеринга — это известное ограничение представлений на основе глубины. Для решения этой проблемы мы представляем PM-Loss, новый регуляризационный штраф, основанный на карте точек, предсказанной предварительно обученным трансформером. Хотя сама карта точек может быть менее точной, чем карта глубины, она эффективно обеспечивает геометрическую гладкость, особенно на границах объектов. С улучшенной картой глубины наш метод значительно улучшает прямые 3DGS в различных архитектурах и сценах, обеспечивая стабильно лучшие результаты рендеринга. Наша страница проекта: https://aim-uofa.github.io/PMLoss.

English

Depth maps are widely used in feed-forward 3D Gaussian Splatting (3DGS) pipelines by unprojecting them into 3D point clouds for novel view synthesis. This approach offers advantages such as efficient training, the use of known camera poses, and accurate geometry estimation. However, depth discontinuities at object boundaries often lead to fragmented or sparse point clouds, degrading rendering quality -- a well-known limitation of depth-based representations. To tackle this issue, we introduce PM-Loss, a novel regularization loss based on a pointmap predicted by a pre-trained transformer. Although the pointmap itself may be less accurate than the depth map, it effectively enforces geometric smoothness, especially around object boundaries. With the improved depth map, our method significantly improves the feed-forward 3DGS across various architectures and scenes, delivering consistently better rendering results. Our project page: https://aim-uofa.github.io/PMLoss