GaussianFlow: Splatting der Gaußschen Dynamik für die Erstellung von 4D-Inhalten

GaussianFlow: Splatting Gaussian Dynamics for 4D Content Creation

March 19, 2024

Autoren: Quankai Gao, Qiangeng Xu, Zhe Cao, Ben Mildenhall, Wenchao Ma, Le Chen, Danhang Tang, Ulrich Neumann

cs.AI

Zusammenfassung

Die Erstellung von 4D-Feldern der Gauss'schen Splatting aus Bildern oder Videos ist aufgrund ihrer unterbestimmten Natur eine anspruchsvolle Aufgabe. Während die Optimierung photometrische Referenzen aus den Eingabevideos ziehen kann oder durch generative Modelle reguliert werden kann, bleibt die direkte Überwachung von Gauss'schen Bewegungen weitgehend unerforscht. In diesem Artikel stellen wir ein neues Konzept vor, den Gauss'schen Fluss, der die Dynamik von 3D-Gauss'schen und Pixelgeschwindigkeiten zwischen aufeinanderfolgenden Frames verbindet. Der Gauss'sche Fluss kann effizient durch das Splatting von Gauss'schen Dynamiken in den Bildraum erhalten werden. Dieser differenzierbare Prozess ermöglicht eine direkte dynamische Überwachung von optischem Fluss. Unsere Methode profitiert erheblich von der Generierung von 4D-dynamischen Inhalten und der 4D-Neusynthese von Ansichten mit Gauss'scher Splatting, insbesondere für Inhalte mit reichhaltigen Bewegungen, die von bestehenden Methoden schwer zu handhaben sind. Das häufig auftretende Problem des Farbdrifts bei der 4D-Generierung wird ebenfalls durch verbesserte Gauss'sche Dynamiken gelöst. Überlegene visuelle Qualität in umfangreichen Experimenten zeigt die Wirksamkeit unserer Methode. Quantitative und qualitative Bewertungen zeigen, dass unsere Methode Spitzenleistungen bei beiden Aufgaben der 4D-Generierung und der 4D-Neusynthese von Ansichten erzielt. Projektseite: https://zerg-overmind.github.io/GaussianFlow.github.io/

English

Creating 4D fields of Gaussian Splatting from images or videos is a challenging task due to its under-constrained nature. While the optimization can draw photometric reference from the input videos or be regulated by generative models, directly supervising Gaussian motions remains underexplored. In this paper, we introduce a novel concept, Gaussian flow, which connects the dynamics of 3D Gaussians and pixel velocities between consecutive frames. The Gaussian flow can be efficiently obtained by splatting Gaussian dynamics into the image space. This differentiable process enables direct dynamic supervision from optical flow. Our method significantly benefits 4D dynamic content generation and 4D novel view synthesis with Gaussian Splatting, especially for contents with rich motions that are hard to be handled by existing methods. The common color drifting issue that happens in 4D generation is also resolved with improved Guassian dynamics. Superior visual quality on extensive experiments demonstrates our method's effectiveness. Quantitative and qualitative evaluations show that our method achieves state-of-the-art results on both tasks of 4D generation and 4D novel view synthesis. Project page: https://zerg-overmind.github.io/GaussianFlow.github.io/