GS-DiT: Fortschritte bei der Videogenerierung mit Pseudo-4D-Gaußschen Feldern durch effizientes dichtes 3D-Punkt-Tracking.

GS-DiT: Advancing Video Generation with Pseudo 4D Gaussian Fields through Efficient Dense 3D Point Tracking

January 5, 2025

Autoren: Weikang Bian, Zhaoyang Huang, Xiaoyu Shi, Yijin Li, Fu-Yun Wang, Hongsheng Li

cs.AI

Zusammenfassung

Die Steuerung von 4D-Videos ist für die Videogenerierung unerlässlich, da sie die Verwendung anspruchsvoller Objektivtechniken wie Mehrkameraaufnahmen und Dolly-Zoom ermöglicht, die derzeit von bestehenden Methoden nicht unterstützt werden. Das Training eines Video Diffusion Transformers (DiT) zur direkten Steuerung von 4D-Inhalten erfordert teure Multi-View-Videos. Inspiriert von der Monocular Dynamic novel View Synthesis (MDVS), die eine 4D-Repräsentation optimiert und Videos gemäß unterschiedlicher 4D-Elemente wie Kameraposition und Objektbewegung bearbeitet, bringen wir pseudo-4D-Gaußfelder in die Videogenerierung ein. Speziell schlagen wir ein neuartiges Framework vor, das ein pseudo-4D-Gaußfeld mit dichtem 3D-Punkt-Tracking konstruiert und das Gaußfeld für alle Videoframes rendert. Anschließend feinjustieren wir einen vorab trainierten DiT, um Videos gemäß der Anleitung des gerenderten Videos zu generieren, das als GS-DiT bezeichnet wird. Um das Training des GS-DiT zu verbessern, schlagen wir auch eine effiziente Methode für das dichte 3D-Punkt-Tracking (D3D-PT) für die Konstruktion des pseudo-4D-Gaußfelds vor. Unser D3D-PT übertrifft SpatialTracker, die führende Methode für das sparse 3D-Punkt-Tracking, in Genauigkeit und beschleunigt die Inferenzgeschwindigkeit um zwei Größenordnungen. Während der Inferenzphase kann der GS-DiT Videos mit demselben dynamischen Inhalt generieren und dabei unterschiedlichen Kameraparametern folgen, was eine bedeutende Einschränkung aktueller Videogenerierungsmodelle angeht. Der GS-DiT zeigt starke Verallgemeinerungsfähigkeiten und erweitert die 4D-Steuerbarkeit von Gauß-Splatting auf die Videogenerierung über reine Kamerapositionen hinaus. Er unterstützt fortgeschrittene kinematografische Effekte durch die Manipulation des Gaußfelds und der Kameraintrinsiken und wird so zu einem leistungsstarken Werkzeug für die kreative Videoproduktion. Demos sind verfügbar unter https://wkbian.github.io/Projects/GS-DiT/.

English

4D video control is essential in video generation as it enables the use of sophisticated lens techniques, such as multi-camera shooting and dolly zoom, which are currently unsupported by existing methods. Training a video Diffusion Transformer (DiT) directly to control 4D content requires expensive multi-view videos. Inspired by Monocular Dynamic novel View Synthesis (MDVS) that optimizes a 4D representation and renders videos according to different 4D elements, such as camera pose and object motion editing, we bring pseudo 4D Gaussian fields to video generation. Specifically, we propose a novel framework that constructs a pseudo 4D Gaussian field with dense 3D point tracking and renders the Gaussian field for all video frames. Then we finetune a pretrained DiT to generate videos following the guidance of the rendered video, dubbed as GS-DiT. To boost the training of the GS-DiT, we also propose an efficient Dense 3D Point Tracking (D3D-PT) method for the pseudo 4D Gaussian field construction. Our D3D-PT outperforms SpatialTracker, the state-of-the-art sparse 3D point tracking method, in accuracy and accelerates the inference speed by two orders of magnitude. During the inference stage, GS-DiT can generate videos with the same dynamic content while adhering to different camera parameters, addressing a significant limitation of current video generation models. GS-DiT demonstrates strong generalization capabilities and extends the 4D controllability of Gaussian splatting to video generation beyond just camera poses. It supports advanced cinematic effects through the manipulation of the Gaussian field and camera intrinsics, making it a powerful tool for creative video production. Demos are available at https://wkbian.github.io/Projects/GS-DiT/.