GaussianFlow: Dinamica a Splatting Gaussiana per la Creazione di Contenuti 4D
GaussianFlow: Splatting Gaussian Dynamics for 4D Content Creation
March 19, 2024
Autori: Quankai Gao, Qiangeng Xu, Zhe Cao, Ben Mildenhall, Wenchao Ma, Le Chen, Danhang Tang, Ulrich Neumann
cs.AI
Abstract
La creazione di campi 4D di Gaussian Splatting a partire da immagini o video è un compito impegnativo a causa della sua natura sottodeterminata. Sebbene l'ottimizzazione possa attingere a riferimenti fotometrici dai video di input o essere regolata da modelli generativi, la supervisione diretta dei movimenti gaussiani rimane poco esplorata. In questo articolo, introduciamo un nuovo concetto, il flusso gaussiano, che collega la dinamica delle gaussiane 3D e le velocità dei pixel tra frame consecutivi. Il flusso gaussiano può essere ottenuto in modo efficiente proiettando la dinamica gaussiana nello spazio dell'immagine. Questo processo differenziabile consente una supervisione dinamica diretta dal flusso ottico. Il nostro metodo apporta significativi benefici alla generazione di contenuti dinamici 4D e alla sintesi di nuove viste 4D con Gaussian Splatting, specialmente per contenuti con movimenti complessi che sono difficili da gestire con i metodi esistenti. Il comune problema di deriva del colore che si verifica nella generazione 4D viene anche risolto con una dinamica gaussiana migliorata. La qualità visiva superiore in esperimenti estesi dimostra l'efficacia del nostro metodo. Valutazioni quantitative e qualitative mostrano che il nostro metodo raggiunge risultati all'avanguardia in entrambi i compiti di generazione 4D e sintesi di nuove viste 4D. Pagina del progetto: https://zerg-overmind.github.io/GaussianFlow.github.io/
English
Creating 4D fields of Gaussian Splatting from images or videos is a
challenging task due to its under-constrained nature. While the optimization
can draw photometric reference from the input videos or be regulated by
generative models, directly supervising Gaussian motions remains underexplored.
In this paper, we introduce a novel concept, Gaussian flow, which connects the
dynamics of 3D Gaussians and pixel velocities between consecutive frames. The
Gaussian flow can be efficiently obtained by splatting Gaussian dynamics into
the image space. This differentiable process enables direct dynamic supervision
from optical flow. Our method significantly benefits 4D dynamic content
generation and 4D novel view synthesis with Gaussian Splatting, especially for
contents with rich motions that are hard to be handled by existing methods. The
common color drifting issue that happens in 4D generation is also resolved with
improved Guassian dynamics. Superior visual quality on extensive experiments
demonstrates our method's effectiveness. Quantitative and qualitative
evaluations show that our method achieves state-of-the-art results on both
tasks of 4D generation and 4D novel view synthesis. Project page:
https://zerg-overmind.github.io/GaussianFlow.github.io/