GS-DiT: Avanzando en la Generación de Video con Campos Gaussianos Pseudo 4D a través de un Seguimiento Eficiente de Puntos 3D Denso.

GS-DiT: Advancing Video Generation with Pseudo 4D Gaussian Fields through Efficient Dense 3D Point Tracking

January 5, 2025

Autores: Weikang Bian, Zhaoyang Huang, Xiaoyu Shi, Yijin Li, Fu-Yun Wang, Hongsheng Li

cs.AI

Resumen

El control de video 4D es esencial en la generación de video, ya que permite el uso de técnicas sofisticadas de lentes, como la filmación con múltiples cámaras y el efecto dolly zoom, que actualmente no son compatibles con los métodos existentes. Entrenar un Transformador de Difusión de Video (DiT) directamente para controlar contenido 4D requiere videos de múltiples vistas costosos. Inspirados por la Síntesis de Nueva Vista Dinámica Monocular (MDVS) que optimiza una representación 4D y renderiza videos según diferentes elementos 4D, como la posición de la cámara y la edición de movimiento de objetos, introducimos campos gaussianos pseudo 4D en la generación de video. Específicamente, proponemos un nuevo marco de trabajo que construye un campo gaussiano pseudo 4D con seguimiento denso de puntos 3D y renderiza el campo gaussiano para todos los fotogramas de video. Luego afinamos un DiT preentrenado para generar videos siguiendo la guía del video renderizado, denominado GS-DiT. Para potenciar el entrenamiento del GS-DiT, también proponemos un método eficiente de Seguimiento Denso de Puntos 3D (D3D-PT) para la construcción del campo gaussiano pseudo 4D. Nuestro D3D-PT supera a SpatialTracker, el método de seguimiento de puntos 3D dispersos de última generación, en precisión y acelera la velocidad de inferencia en dos órdenes de magnitud. Durante la etapa de inferencia, GS-DiT puede generar videos con el mismo contenido dinámico mientras se adhiere a diferentes parámetros de la cámara, abordando una limitación significativa de los modelos actuales de generación de video. GS-DiT demuestra fuertes capacidades de generalización y amplía la capacidad de control 4D del salpicado gaussiano en la generación de video más allá de solo las posiciones de cámara. Admite efectos cinematográficos avanzados a través de la manipulación del campo gaussiano y de los intrínsecos de la cámara, convirtiéndolo en una herramienta poderosa para la producción de video creativa. Las demostraciones están disponibles en https://wkbian.github.io/Projects/GS-DiT/.

English

4D video control is essential in video generation as it enables the use of sophisticated lens techniques, such as multi-camera shooting and dolly zoom, which are currently unsupported by existing methods. Training a video Diffusion Transformer (DiT) directly to control 4D content requires expensive multi-view videos. Inspired by Monocular Dynamic novel View Synthesis (MDVS) that optimizes a 4D representation and renders videos according to different 4D elements, such as camera pose and object motion editing, we bring pseudo 4D Gaussian fields to video generation. Specifically, we propose a novel framework that constructs a pseudo 4D Gaussian field with dense 3D point tracking and renders the Gaussian field for all video frames. Then we finetune a pretrained DiT to generate videos following the guidance of the rendered video, dubbed as GS-DiT. To boost the training of the GS-DiT, we also propose an efficient Dense 3D Point Tracking (D3D-PT) method for the pseudo 4D Gaussian field construction. Our D3D-PT outperforms SpatialTracker, the state-of-the-art sparse 3D point tracking method, in accuracy and accelerates the inference speed by two orders of magnitude. During the inference stage, GS-DiT can generate videos with the same dynamic content while adhering to different camera parameters, addressing a significant limitation of current video generation models. GS-DiT demonstrates strong generalization capabilities and extends the 4D controllability of Gaussian splatting to video generation beyond just camera poses. It supports advanced cinematic effects through the manipulation of the Gaussian field and camera intrinsics, making it a powerful tool for creative video production. Demos are available at https://wkbian.github.io/Projects/GS-DiT/.