GaussianFlow: Proyección de Dinámicas Gaussianas para la Creación de Contenido 4D

GaussianFlow: Splatting Gaussian Dynamics for 4D Content Creation

March 19, 2024

Autores: Quankai Gao, Qiangeng Xu, Zhe Cao, Ben Mildenhall, Wenchao Ma, Le Chen, Danhang Tang, Ulrich Neumann

cs.AI

Resumen

La creación de campos 4D de Gaussian Splatting a partir de imágenes o videos es una tarea desafiante debido a su naturaleza sub-restringida. Si bien la optimización puede basarse en referencias fotométricas de los videos de entrada o ser regulada por modelos generativos, la supervisión directa de los movimientos gaussianos sigue siendo poco explorada. En este artículo, introducimos un concepto novedoso, el flujo gaussiano, que conecta la dinámica de los gaussianos 3D con las velocidades de píxeles entre fotogramas consecutivos. El flujo gaussiano puede obtenerse de manera eficiente al proyectar la dinámica gaussiana en el espacio de la imagen. Este proceso diferenciable permite una supervisión dinámica directa a partir del flujo óptico. Nuestro método beneficia significativamente la generación de contenido dinámico 4D y la síntesis de nuevas vistas 4D con Gaussian Splatting, especialmente para contenidos con movimientos complejos que son difíciles de manejar con métodos existentes. El problema común de deriva de color que ocurre en la generación 4D también se resuelve con una dinámica gaussiana mejorada. La calidad visual superior en experimentos extensos demuestra la efectividad de nuestro método. Evaluaciones cuantitativas y cualitativas muestran que nuestro método alcanza resultados de vanguardia en ambas tareas de generación 4D y síntesis de nuevas vistas 4D. Página del proyecto: https://zerg-overmind.github.io/GaussianFlow.github.io/

English

Creating 4D fields of Gaussian Splatting from images or videos is a challenging task due to its under-constrained nature. While the optimization can draw photometric reference from the input videos or be regulated by generative models, directly supervising Gaussian motions remains underexplored. In this paper, we introduce a novel concept, Gaussian flow, which connects the dynamics of 3D Gaussians and pixel velocities between consecutive frames. The Gaussian flow can be efficiently obtained by splatting Gaussian dynamics into the image space. This differentiable process enables direct dynamic supervision from optical flow. Our method significantly benefits 4D dynamic content generation and 4D novel view synthesis with Gaussian Splatting, especially for contents with rich motions that are hard to be handled by existing methods. The common color drifting issue that happens in 4D generation is also resolved with improved Guassian dynamics. Superior visual quality on extensive experiments demonstrates our method's effectiveness. Quantitative and qualitative evaluations show that our method achieves state-of-the-art results on both tasks of 4D generation and 4D novel view synthesis. Project page: https://zerg-overmind.github.io/GaussianFlow.github.io/