4Real-Video: Aprendizaje de Difusión de Video 4D Fotorealista Generalizable

4Real-Video: Learning Generalizable Photo-Realistic 4D Video Diffusion

December 5, 2024

Autores: Chaoyang Wang, Peiye Zhuang, Tuan Duc Ngo, Willi Menapace, Aliaksandr Siarohin, Michael Vasilkovsky, Ivan Skorokhodov, Sergey Tulyakov, Peter Wonka, Hsin-Ying Lee

cs.AI

Resumen

Proponemos 4Real-Video, un marco novedoso para generar videos 4D, organizados como una cuadrícula de fotogramas de video con ejes de tiempo y punto de vista. En esta cuadrícula, cada fila contiene fotogramas que comparten el mismo intervalo de tiempo, mientras que cada columna contiene fotogramas desde el mismo punto de vista. Proponemos una arquitectura novedosa de dos flujos. Un flujo realiza actualizaciones de punto de vista en las columnas, y el otro flujo realiza actualizaciones temporales en las filas. Después de cada capa de transformador de difusión, una capa de sincronización intercambia información entre los dos flujos de tokens. Proponemos dos implementaciones de la capa de sincronización, utilizando sincronización dura o suave. Esta arquitectura feedforward mejora el trabajo previo de tres maneras: mayor velocidad de inferencia, calidad visual mejorada (medida por FVD, CLIP y VideoScore), y mejor consistencia temporal y de punto de vista (medida por VideoScore y Dust3R-Confidence).

English

We propose 4Real-Video, a novel framework for generating 4D videos, organized as a grid of video frames with both time and viewpoint axes. In this grid, each row contains frames sharing the same timestep, while each column contains frames from the same viewpoint. We propose a novel two-stream architecture. One stream performs viewpoint updates on columns, and the other stream performs temporal updates on rows. After each diffusion transformer layer, a synchronization layer exchanges information between the two token streams. We propose two implementations of the synchronization layer, using either hard or soft synchronization. This feedforward architecture improves upon previous work in three ways: higher inference speed, enhanced visual quality (measured by FVD, CLIP, and VideoScore), and improved temporal and viewpoint consistency (measured by VideoScore and Dust3R-Confidence).