GaussianFlow : Projection dynamique de Gaussiennes pour la création de contenu 4D

GaussianFlow: Splatting Gaussian Dynamics for 4D Content Creation

March 19, 2024

Auteurs: Quankai Gao, Qiangeng Xu, Zhe Cao, Ben Mildenhall, Wenchao Ma, Le Chen, Danhang Tang, Ulrich Neumann

cs.AI

Résumé

La création de champs 4D de Gaussian Splatting à partir d'images ou de vidéos est une tâche complexe en raison de sa nature sous-contrainte. Bien que l'optimisation puisse s'appuyer sur des références photométriques issues des vidéos d'entrée ou être régulée par des modèles génératifs, la supervision directe des mouvements des Gaussiennes reste peu explorée. Dans cet article, nous introduisons un nouveau concept, le flux Gaussien, qui relie la dynamique des Gaussiennes 3D et les vitesses des pixels entre des images consécutives. Le flux Gaussien peut être obtenu efficacement en projetant la dynamique des Gaussiennes dans l'espace image. Ce processus différentiable permet une supervision dynamique directe à partir du flux optique. Notre méthode apporte des avantages significatifs à la génération de contenu dynamique 4D et à la synthèse de nouvelles vues 4D avec Gaussian Splatting, en particulier pour les contenus présentant des mouvements complexes difficiles à gérer par les méthodes existantes. Le problème courant de dérive des couleurs dans la génération 4D est également résolu grâce à une dynamique des Gaussiennes améliorée. Une qualité visuelle supérieure dans des expériences approfondies démontre l'efficacité de notre méthode. Les évaluations quantitatives et qualitatives montrent que notre méthode atteint des résultats de pointe dans les deux tâches de génération 4D et de synthèse de nouvelles vues 4D. Page du projet : https://zerg-overmind.github.io/GaussianFlow.github.io/

English

Creating 4D fields of Gaussian Splatting from images or videos is a challenging task due to its under-constrained nature. While the optimization can draw photometric reference from the input videos or be regulated by generative models, directly supervising Gaussian motions remains underexplored. In this paper, we introduce a novel concept, Gaussian flow, which connects the dynamics of 3D Gaussians and pixel velocities between consecutive frames. The Gaussian flow can be efficiently obtained by splatting Gaussian dynamics into the image space. This differentiable process enables direct dynamic supervision from optical flow. Our method significantly benefits 4D dynamic content generation and 4D novel view synthesis with Gaussian Splatting, especially for contents with rich motions that are hard to be handled by existing methods. The common color drifting issue that happens in 4D generation is also resolved with improved Guassian dynamics. Superior visual quality on extensive experiments demonstrates our method's effectiveness. Quantitative and qualitative evaluations show that our method achieves state-of-the-art results on both tasks of 4D generation and 4D novel view synthesis. Project page: https://zerg-overmind.github.io/GaussianFlow.github.io/