FreeTimeGS: 동적 장면 재구성을 위한 언제 어디서나 자유로운 가우시안 활용

초록

본 논문은 복잡한 동작을 포함한 동적 3D 장면 재구성의 문제를 다룬다. 최근 연구들은 정규 공간(canonical space)에 3D 가우시안 프리미티브를 정의하고 변형 필드(deformation field)를 사용하여 정규 프리미티브를 관찰 공간으로 매핑함으로써 실시간 동적 뷰 합성을 달성하였다. 그러나 이러한 방법들은 변형 필드 최적화의 어려움으로 인해 복잡한 동작이 포함된 장면을 처리하는 데 어려움을 겪는다. 이 문제를 극복하기 위해, 본 연구에서는 가우시안 프리미티브가 임의의 시간과 위치에 나타날 수 있는 새로운 4D 표현인 FreeTimeGS를 제안한다. 정규 가우시안 프리미티브와 달리, 제안된 표현은 높은 유연성을 가지며, 이를 통해 동적 3D 장면 모델링 능력이 향상된다. 또한, 각 가우시안 프리미티브에 동작 함수를 부여하여 시간에 따라 인접 영역으로 이동할 수 있도록 함으로써 시간적 중복성을 줄인다. 여러 데이터셋에 대한 실험 결과는 제안 방법의 렌더링 품질이 최근 방법들을 크게 능가함을 보여준다.

English

This paper addresses the challenge of reconstructing dynamic 3D scenes with complex motions. Some recent works define 3D Gaussian primitives in the canonical space and use deformation fields to map canonical primitives to observation spaces, achieving real-time dynamic view synthesis. However, these methods often struggle to handle scenes with complex motions due to the difficulty of optimizing deformation fields. To overcome this problem, we propose FreeTimeGS, a novel 4D representation that allows Gaussian primitives to appear at arbitrary time and locations. In contrast to canonical Gaussian primitives, our representation possesses the strong flexibility, thus improving the ability to model dynamic 3D scenes. In addition, we endow each Gaussian primitive with an motion function, allowing it to move to neighboring regions over time, which reduces the temporal redundancy. Experiments results on several datasets show that the rendering quality of our method outperforms recent methods by a large margin.

FreeTimeGS: 동적 장면 재구성을 위한 언제 어디서나 자유로운 가우시안 활용

FreeTimeGS: Free Gaussians at Anytime and Anywhere for Dynamic Scene Reconstruction

초록

Support