GaussianFlow: 4D 콘텐츠 생성을 위한 가우시안 동역학 스플래팅

GaussianFlow: Splatting Gaussian Dynamics for 4D Content Creation

March 19, 2024

저자: Quankai Gao, Qiangeng Xu, Zhe Cao, Ben Mildenhall, Wenchao Ma, Le Chen, Danhang Tang, Ulrich Neumann

cs.AI

초록

이미지나 비디오로부터 가우시안 스플래팅(Gaussian Splatting)을 사용하여 4D 필드를 생성하는 것은 그 과소제약적 특성으로 인해 어려운 과제입니다. 입력 비디오로부터 광도 측정적 참조를 얻거나 생성 모델에 의해 규제될 수 있지만, 가우시안 움직임을 직접 감독하는 방법은 아직 충분히 탐구되지 않았습니다. 본 논문에서는 연속 프레임 간의 3D 가우시안 역학과 픽셀 속도를 연결하는 새로운 개념인 가우시안 플로우(Gaussian flow)를 소개합니다. 가우시안 플로우는 가우시안 역학을 이미지 공간으로 스플래팅함으로써 효율적으로 얻을 수 있습니다. 이 미분 가능한 프로세스는 광학 흐름(optical flow)으로부터 직접적인 동적 감독을 가능하게 합니다. 우리의 방법은 특히 기존 방법으로 처리하기 어려운 풍부한 움직임을 가진 콘텐츠에 대해 가우시안 스플래팅을 사용한 4D 동적 콘텐츠 생성 및 4D 새로운 시점 합성에 큰 이점을 제공합니다. 또한, 4D 생성에서 흔히 발생하는 색상 드리프트(color drifting) 문제도 개선된 가우시안 역학으로 해결되었습니다. 광범위한 실험에서 우수한 시각적 품질은 우리 방법의 효과를 입증합니다. 양적 및 질적 평가를 통해 우리의 방법이 4D 생성 및 4D 새로운 시점 합성 작업에서 최첨단 결과를 달성했음을 보여줍니다. 프로젝트 페이지: https://zerg-overmind.github.io/GaussianFlow.github.io/

English

Creating 4D fields of Gaussian Splatting from images or videos is a challenging task due to its under-constrained nature. While the optimization can draw photometric reference from the input videos or be regulated by generative models, directly supervising Gaussian motions remains underexplored. In this paper, we introduce a novel concept, Gaussian flow, which connects the dynamics of 3D Gaussians and pixel velocities between consecutive frames. The Gaussian flow can be efficiently obtained by splatting Gaussian dynamics into the image space. This differentiable process enables direct dynamic supervision from optical flow. Our method significantly benefits 4D dynamic content generation and 4D novel view synthesis with Gaussian Splatting, especially for contents with rich motions that are hard to be handled by existing methods. The common color drifting issue that happens in 4D generation is also resolved with improved Guassian dynamics. Superior visual quality on extensive experiments demonstrates our method's effectiveness. Quantitative and qualitative evaluations show that our method achieves state-of-the-art results on both tasks of 4D generation and 4D novel view synthesis. Project page: https://zerg-overmind.github.io/GaussianFlow.github.io/