빠른 동적 장면 표현을 위한 하이브리드 3D-4D 가우시안 스플래팅

Hybrid 3D-4D Gaussian Splatting for Fast Dynamic Scene Representation

May 19, 2025

저자: Seungjun Oh, Younggeun Lee, Hyejin Jeon, Eunbyung Park

cs.AI

초록

최근 동적 3D 장면 재구성 기술의 발전은 높은 충실도의 3D 새로운 시점 합성과 개선된 시간적 일관성을 가능하게 하며 유망한 결과를 보여주고 있다. 이 중에서도 4D 가우시안 스플래팅(4DGS)은 높은 충실도의 공간적 및 시간적 변화를 모델링할 수 있는 능력으로 인해 주목받는 접근 방식으로 부상했다. 그러나 기존 방법들은 정적 영역에 4D 가우시안을 과도하게 할당함으로써 상당한 계산 및 메모리 오버헤드를 겪으며, 이는 이미지 품질 저하로도 이어질 수 있다. 본 연구에서는 정적 영역은 3D 가우시안으로 적응적으로 표현하고 동적 요소는 4D 가우시안으로 유지하는 새로운 프레임워크인 하이브리드 3D-4D 가우시안 스플래팅(3D-4DGS)을 소개한다. 우리의 방법은 완전한 4D 가우시안 표현으로 시작하여 시간적으로 불변인 가우시안을 반복적으로 3D로 변환함으로써 매개변수 수를 크게 줄이고 계산 효율성을 향상시킨다. 한편, 동적 가우시안은 완전한 4D 표현을 유지하여 복잡한 움직임을 높은 충실도로 포착한다. 우리의 접근 방식은 기준선 4D 가우시안 스플래팅 방법에 비해 훨씬 빠른 학습 시간을 달성하면서도 시각적 품질을 유지하거나 개선한다.

English

Recent advancements in dynamic 3D scene reconstruction have shown promising results, enabling high-fidelity 3D novel view synthesis with improved temporal consistency. Among these, 4D Gaussian Splatting (4DGS) has emerged as an appealing approach due to its ability to model high-fidelity spatial and temporal variations. However, existing methods suffer from substantial computational and memory overhead due to the redundant allocation of 4D Gaussians to static regions, which can also degrade image quality. In this work, we introduce hybrid 3D-4D Gaussian Splatting (3D-4DGS), a novel framework that adaptively represents static regions with 3D Gaussians while reserving 4D Gaussians for dynamic elements. Our method begins with a fully 4D Gaussian representation and iteratively converts temporally invariant Gaussians into 3D, significantly reducing the number of parameters and improving computational efficiency. Meanwhile, dynamic Gaussians retain their full 4D representation, capturing complex motions with high fidelity. Our approach achieves significantly faster training times compared to baseline 4D Gaussian Splatting methods while maintaining or improving the visual quality.