GaussianFlow: Projeção de Dinâmicas Gaussianas para Criação de Conteúdo 4D
GaussianFlow: Splatting Gaussian Dynamics for 4D Content Creation
March 19, 2024
Autores: Quankai Gao, Qiangeng Xu, Zhe Cao, Ben Mildenhall, Wenchao Ma, Le Chen, Danhang Tang, Ulrich Neumann
cs.AI
Resumo
A criação de campos 4D de Gaussian Splatting a partir de imagens ou vídeos é uma tarefa desafiadora devido à sua natureza sub-restrita. Embora a otimização possa se basear em referências fotométricas dos vídeos de entrada ou ser regulada por modelos generativos, a supervisão direta dos movimentos Gaussianos ainda é pouco explorada. Neste artigo, introduzimos um novo conceito, o fluxo Gaussiano, que conecta a dinâmica dos Gaussianos 3D e as velocidades dos pixels entre quadros consecutivos. O fluxo Gaussiano pode ser obtido de forma eficiente ao projetar a dinâmica Gaussiana no espaço da imagem. Esse processo diferenciável permite a supervisão dinâmica direta a partir do fluxo óptico. Nosso método traz benefícios significativos para a geração de conteúdo dinâmico 4D e a síntese de novas vistas 4D com Gaussian Splatting, especialmente para conteúdos com movimentos complexos que são difíceis de serem tratados por métodos existentes. O problema comum de deriva de cor que ocorre na geração 4D também é resolvido com a melhoria da dinâmica Gaussiana. A qualidade visual superior em experimentos extensivos demonstra a eficácia do nosso método. Avaliações quantitativas e qualitativas mostram que nosso método alcança resultados de ponta tanto na geração 4D quanto na síntese de novas vistas 4D. Página do projeto: https://zerg-overmind.github.io/GaussianFlow.github.io/
English
Creating 4D fields of Gaussian Splatting from images or videos is a
challenging task due to its under-constrained nature. While the optimization
can draw photometric reference from the input videos or be regulated by
generative models, directly supervising Gaussian motions remains underexplored.
In this paper, we introduce a novel concept, Gaussian flow, which connects the
dynamics of 3D Gaussians and pixel velocities between consecutive frames. The
Gaussian flow can be efficiently obtained by splatting Gaussian dynamics into
the image space. This differentiable process enables direct dynamic supervision
from optical flow. Our method significantly benefits 4D dynamic content
generation and 4D novel view synthesis with Gaussian Splatting, especially for
contents with rich motions that are hard to be handled by existing methods. The
common color drifting issue that happens in 4D generation is also resolved with
improved Guassian dynamics. Superior visual quality on extensive experiments
demonstrates our method's effectiveness. Quantitative and qualitative
evaluations show that our method achieves state-of-the-art results on both
tasks of 4D generation and 4D novel view synthesis. Project page:
https://zerg-overmind.github.io/GaussianFlow.github.io/