4Real-Video: Erlernen von generalisierbarem fotorealistischem 4D-Video-Diffusion.

4Real-Video: Learning Generalizable Photo-Realistic 4D Video Diffusion

December 5, 2024

Autoren: Chaoyang Wang, Peiye Zhuang, Tuan Duc Ngo, Willi Menapace, Aliaksandr Siarohin, Michael Vasilkovsky, Ivan Skorokhodov, Sergey Tulyakov, Peter Wonka, Hsin-Ying Lee

cs.AI

Zusammenfassung

Wir schlagen 4Real-Video vor, ein neuartiges Framework zur Generierung von 4D-Videos, organisiert als Raster von Videoframes mit sowohl Zeit- als auch Blickachsen. In diesem Raster enthält jede Zeile Frames, die denselben Zeitschritt teilen, während jede Spalte Frames aus derselben Perspektive enthält. Wir schlagen eine neuartige Zwei-Stream-Architektur vor. Ein Stream führt Blickwinkelaktualisierungen in den Spalten durch, und der andere Stream führt zeitliche Aktualisierungen in den Zeilen durch. Nach jeder Diffusions-Transformer-Schicht tauscht eine Synchronisationsschicht Informationen zwischen den beiden Token-Streams aus. Wir schlagen zwei Implementierungen der Synchronisationsschicht vor, die entweder harte oder weiche Synchronisation verwenden. Diese Feedforward-Architektur verbessert frühere Arbeiten auf drei Arten: höhere Inferenzgeschwindigkeit, verbesserte visuelle Qualität (gemessen an FVD, CLIP und VideoScore) und verbesserte zeitliche und perspektivische Konsistenz (gemessen an VideoScore und Dust3R-Confidence).

English

We propose 4Real-Video, a novel framework for generating 4D videos, organized as a grid of video frames with both time and viewpoint axes. In this grid, each row contains frames sharing the same timestep, while each column contains frames from the same viewpoint. We propose a novel two-stream architecture. One stream performs viewpoint updates on columns, and the other stream performs temporal updates on rows. After each diffusion transformer layer, a synchronization layer exchanges information between the two token streams. We propose two implementations of the synchronization layer, using either hard or soft synchronization. This feedforward architecture improves upon previous work in three ways: higher inference speed, enhanced visual quality (measured by FVD, CLIP, and VideoScore), and improved temporal and viewpoint consistency (measured by VideoScore and Dust3R-Confidence).