피드포워드 3D 가우시안 스플래팅을 위한 깊이 표현 재고

초록

깊이 맵은 새로운 시점 합성을 위해 3D 포인트 클라우드로 역투영하는 피드-포워드 3D 가우시안 스플래팅(3DGS) 파이프라인에서 널리 사용됩니다. 이 접근법은 효율적인 학습, 알려진 카메라 포즈의 활용, 정확한 기하학적 추정과 같은 장점을 제공합니다. 그러나 객체 경계에서의 깊이 불연속성은 종종 파편화되거나 희소한 포인트 클라우드를 초래하여 렌더링 품질을 저하시키는데, 이는 깊이 기반 표현의 잘 알려진 한계입니다. 이 문제를 해결하기 위해, 우리는 사전 학습된 트랜스포머에 의해 예측된 포인트맵을 기반으로 한 새로운 정규화 손실인 PM-Loss를 소개합니다. 포인트맵 자체는 깊이 맵보다 정확도가 낮을 수 있지만, 특히 객체 경계 주변에서 기하학적 평활성을 효과적으로 강제합니다. 개선된 깊이 맵을 통해, 우리의 방법은 다양한 아키텍처와 장면에 걸쳐 피드-포워드 3DGS를 크게 개선하며, 일관되게 더 나은 렌더링 결과를 제공합니다. 우리의 프로젝트 페이지: https://aim-uofa.github.io/PMLoss

English

Depth maps are widely used in feed-forward 3D Gaussian Splatting (3DGS) pipelines by unprojecting them into 3D point clouds for novel view synthesis. This approach offers advantages such as efficient training, the use of known camera poses, and accurate geometry estimation. However, depth discontinuities at object boundaries often lead to fragmented or sparse point clouds, degrading rendering quality -- a well-known limitation of depth-based representations. To tackle this issue, we introduce PM-Loss, a novel regularization loss based on a pointmap predicted by a pre-trained transformer. Although the pointmap itself may be less accurate than the depth map, it effectively enforces geometric smoothness, especially around object boundaries. With the improved depth map, our method significantly improves the feed-forward 3DGS across various architectures and scenes, delivering consistently better rendering results. Our project page: https://aim-uofa.github.io/PMLoss

피드포워드 3D 가우시안 스플래팅을 위한 깊이 표현 재고

Revisiting Depth Representations for Feed-Forward 3D Gaussian Splatting

초록

Support