효율적인 가우시안 스플래팅을 통한 단안 동적 장면 렌더링: 희소 시간 변화 속성 모델링을 이용하여

Efficient Gaussian Splatting for Monocular Dynamic Scene Rendering via Sparse Time-Variant Attribute Modeling

February 27, 2025

저자: Hanyang Kong, Xingyi Yang, Xinchao Wang

cs.AI

초록

단안 비디오로부터 동적 장면을 렌더링하는 것은 중요하지만 도전적인 작업입니다. 최근에는 변형 가능한 가우시안 스플래팅이 실제 세계의 동적 장면을 효과적으로 표현하는 강력한 해결책으로 등장했습니다. 그러나 이는 종종 매우 중복되는 가우시안을 유발하여 각 훈련 뷰를 다양한 시간 단계에서 맞추려고 하기 때문에 렌더링 속도가 느려지는 문제가 있습니다. 게다가 정적 영역의 가우시안 속성은 시간에 불변하므로 모든 가우시안을 모델링할 필요가 없으며, 이는 정적 영역에서 떨림을 유발할 수 있습니다. 실제로 동적 장면의 렌더링 속도에서 주요 병목 현상은 가우시안의 수입니다. 이에 대응하여 우리는 효율적인 동적 가우시안 스플래팅(EDGS)을 소개합니다. 이는 희소한 시간 변화 속성 모델링을 통해 동적 장면을 표현합니다. 우리의 방법은 움직임 흐름을 밀도 있는 가우시안의 고전적 커널 표현을 통해 계산하는 희소 앵커-그리드 표현을 사용하여 동적 장면을 공식화합니다. 더 나아가, 정적 영역에 해당하는 앵커를 효율적으로 걸러내기 위한 비지도 학습 전략을 제안합니다. 변형 가능한 객체와 관련된 앵커만 MLP에 입력하여 시간 변화 속성을 쿼리합니다. 두 실제 데이터셋에서의 실험 결과는 이전 최첨단 기법과 비교하여 우리의 EDGS가 렌더링 속도를 크게 향상시키고 우수한 렌더링 품질을 제공함을 보여줍니다.

English

Rendering dynamic scenes from monocular videos is a crucial yet challenging task. The recent deformable Gaussian Splatting has emerged as a robust solution to represent real-world dynamic scenes. However, it often leads to heavily redundant Gaussians, attempting to fit every training view at various time steps, leading to slower rendering speeds. Additionally, the attributes of Gaussians in static areas are time-invariant, making it unnecessary to model every Gaussian, which can cause jittering in static regions. In practice, the primary bottleneck in rendering speed for dynamic scenes is the number of Gaussians. In response, we introduce Efficient Dynamic Gaussian Splatting (EDGS), which represents dynamic scenes via sparse time-variant attribute modeling. Our approach formulates dynamic scenes using a sparse anchor-grid representation, with the motion flow of dense Gaussians calculated via a classical kernel representation. Furthermore, we propose an unsupervised strategy to efficiently filter out anchors corresponding to static areas. Only anchors associated with deformable objects are input into MLPs to query time-variant attributes. Experiments on two real-world datasets demonstrate that our EDGS significantly improves the rendering speed with superior rendering quality compared to previous state-of-the-art methods.