GS-DiT: Vooruitgang in Video Generatie met Pseudo 4D Gaussische Velden door Efficiënte Dichte 3D Punt Tracking

GS-DiT: Advancing Video Generation with Pseudo 4D Gaussian Fields through Efficient Dense 3D Point Tracking

January 5, 2025

Auteurs: Weikang Bian, Zhaoyang Huang, Xiaoyu Shi, Yijin Li, Fu-Yun Wang, Hongsheng Li

cs.AI

Samenvatting

4D videobesturing is essentieel bij videogeneratie omdat het geavanceerde lenstechnieken mogelijk maakt, zoals multi-camera opnames en dolly zoom, die momenteel niet worden ondersteund door bestaande methoden. Het rechtstreeks trainen van een video Diffusion Transformer (DiT) om 4D inhoud te besturen vereist dure multi-view video's. Geïnspireerd door Monoculaire Dynamische Nieuwe Beeldsynthese (MDVS) die een 4D representatie optimaliseert en video's rendert op basis van verschillende 4D elementen, zoals camerapositie en objectbewerking, introduceren we pseudo 4D Gaussische velden in videogeneratie. Specifiek stellen we een nieuw raamwerk voor dat een pseudo 4D Gaussisch veld construeert met dichte 3D-punttracking en het Gaussische veld rendert voor alle videoframes. Vervolgens finetunen we een voorgeleerde DiT om video's te genereren volgens de begeleiding van de gerenderde video, genaamd GS-DiT. Om de training van de GS-DiT te verbeteren, stellen we ook een efficiënte Dichte 3D Punttracking (D3D-PT) methode voor voor de constructie van het pseudo 4D Gaussische veld. Onze D3D-PT presteert beter dan SpatialTracker, de toonaangevende schaarse 3D-punttracking methode, in nauwkeurigheid en versnelt de inferentiesnelheid met twee ordes van grootte. Tijdens de inferentiefase kan GS-DiT video's genereren met dezelfde dynamische inhoud terwijl het voldoet aan verschillende cameraparameters, waarmee een significante beperking van huidige videogeneratiemodellen wordt aangepakt. GS-DiT toont sterke generalisatiecapaciteiten en breidt de 4D bestuurbaarheid van Gaussische splatting uit naar videogeneratie voorbij alleen cameraposities. Het ondersteunt geavanceerde filmische effecten door de manipulatie van het Gaussische veld en cameraintrinsieken, waardoor het een krachtig instrument is voor creatieve videoproductie. Demonstraties zijn beschikbaar op https://wkbian.github.io/Projects/GS-DiT/.

English

4D video control is essential in video generation as it enables the use of sophisticated lens techniques, such as multi-camera shooting and dolly zoom, which are currently unsupported by existing methods. Training a video Diffusion Transformer (DiT) directly to control 4D content requires expensive multi-view videos. Inspired by Monocular Dynamic novel View Synthesis (MDVS) that optimizes a 4D representation and renders videos according to different 4D elements, such as camera pose and object motion editing, we bring pseudo 4D Gaussian fields to video generation. Specifically, we propose a novel framework that constructs a pseudo 4D Gaussian field with dense 3D point tracking and renders the Gaussian field for all video frames. Then we finetune a pretrained DiT to generate videos following the guidance of the rendered video, dubbed as GS-DiT. To boost the training of the GS-DiT, we also propose an efficient Dense 3D Point Tracking (D3D-PT) method for the pseudo 4D Gaussian field construction. Our D3D-PT outperforms SpatialTracker, the state-of-the-art sparse 3D point tracking method, in accuracy and accelerates the inference speed by two orders of magnitude. During the inference stage, GS-DiT can generate videos with the same dynamic content while adhering to different camera parameters, addressing a significant limitation of current video generation models. GS-DiT demonstrates strong generalization capabilities and extends the 4D controllability of Gaussian splatting to video generation beyond just camera poses. It supports advanced cinematic effects through the manipulation of the Gaussian field and camera intrinsics, making it a powerful tool for creative video production. Demos are available at https://wkbian.github.io/Projects/GS-DiT/.