GaussianFlow: Splatten van Gaussiaanse Dynamica voor 4D Contentcreatie
GaussianFlow: Splatting Gaussian Dynamics for 4D Content Creation
March 19, 2024
Auteurs: Quankai Gao, Qiangeng Xu, Zhe Cao, Ben Mildenhall, Wenchao Ma, Le Chen, Danhang Tang, Ulrich Neumann
cs.AI
Samenvatting
Het creëren van 4D-velden van Gaussian Splatting uit afbeeldingen of video's is een uitdagende taak vanwege het onderbeperkte karakter. Hoewel de optimalisatie fotometrische referentie kan halen uit de invoervideo's of gereguleerd kan worden door generatieve modellen, blijft directe supervisie van Gaussiaanse bewegingen onderbelicht. In dit artikel introduceren we een nieuw concept, Gaussiaanse stroming, dat de dynamiek van 3D Gaussiaanse verdelingen en pixel snelheden tussen opeenvolgende frames verbindt. De Gaussiaanse stroming kan efficiënt worden verkregen door Gaussiaanse dynamiek in de beeldruimte te splatten. Dit differentieerbare proces maakt directe dynamische supervisie mogelijk vanuit optische stroming. Onze methode levert aanzienlijke voordelen op voor 4D dynamische inhoudsgeneratie en 4D nieuwe weergave-synthese met Gaussian Splatting, vooral voor inhoud met rijke bewegingen die moeilijk te behandelen zijn door bestaande methoden. Het veelvoorkomende kleurdrijvingsprobleem dat optreedt bij 4D-generatie wordt ook opgelost met verbeterde Gaussiaanse dynamiek. Superieure visuele kwaliteit in uitgebreide experimenten toont de effectiviteit van onze methode aan. Kwantitatieve en kwalitatieve evaluaties laten zien dat onze methode state-of-the-art resultaten behaalt voor zowel 4D-generatie als 4D nieuwe weergave-synthese. Projectpagina: https://zerg-overmind.github.io/GaussianFlow.github.io/
English
Creating 4D fields of Gaussian Splatting from images or videos is a
challenging task due to its under-constrained nature. While the optimization
can draw photometric reference from the input videos or be regulated by
generative models, directly supervising Gaussian motions remains underexplored.
In this paper, we introduce a novel concept, Gaussian flow, which connects the
dynamics of 3D Gaussians and pixel velocities between consecutive frames. The
Gaussian flow can be efficiently obtained by splatting Gaussian dynamics into
the image space. This differentiable process enables direct dynamic supervision
from optical flow. Our method significantly benefits 4D dynamic content
generation and 4D novel view synthesis with Gaussian Splatting, especially for
contents with rich motions that are hard to be handled by existing methods. The
common color drifting issue that happens in 4D generation is also resolved with
improved Guassian dynamics. Superior visual quality on extensive experiments
demonstrates our method's effectiveness. Quantitative and qualitative
evaluations show that our method achieves state-of-the-art results on both
tasks of 4D generation and 4D novel view synthesis. Project page:
https://zerg-overmind.github.io/GaussianFlow.github.io/