4Real-Video: Het leren van generaliseerbare fotorealistische 4D video diffusie

4Real-Video: Learning Generalizable Photo-Realistic 4D Video Diffusion

December 5, 2024

Auteurs: Chaoyang Wang, Peiye Zhuang, Tuan Duc Ngo, Willi Menapace, Aliaksandr Siarohin, Michael Vasilkovsky, Ivan Skorokhodov, Sergey Tulyakov, Peter Wonka, Hsin-Ying Lee

cs.AI

Samenvatting

Wij stellen 4Real-Video voor, een nieuw raamwerk voor het genereren van 4D-video's, georganiseerd als een raster van videoframes met zowel tijd- als gezichtspuntassen. In dit raster bevat elke rij frames die dezelfde tijdstap delen, terwijl elke kolom frames bevat van hetzelfde gezichtspunt. We stellen een nieuw tweestromenarchitectuur voor. Eén stroom voert gezichtspuntupdates uit op kolommen, en de andere stroom voert temporale updates uit op rijen. Na elke diffusietransformerlaag wisselt een synchronisatielaag informatie uit tussen de twee tokenstromen. We stellen twee implementaties van de synchronisatielaag voor, waarbij gebruik wordt gemaakt van ofwel harde of zachte synchronisatie. Deze feedforward-architectuur verbetert eerdere werken op drie manieren: hogere inferentiesnelheid, verbeterde visuele kwaliteit (gemeten aan de hand van FVD, CLIP en VideoScore), en verbeterde temporale en gezichtspuntconsistentie (gemeten aan de hand van VideoScore en Dust3R-Confidence).

English

We propose 4Real-Video, a novel framework for generating 4D videos, organized as a grid of video frames with both time and viewpoint axes. In this grid, each row contains frames sharing the same timestep, while each column contains frames from the same viewpoint. We propose a novel two-stream architecture. One stream performs viewpoint updates on columns, and the other stream performs temporal updates on rows. After each diffusion transformer layer, a synchronization layer exchanges information between the two token streams. We propose two implementations of the synchronization layer, using either hard or soft synchronization. This feedforward architecture improves upon previous work in three ways: higher inference speed, enhanced visual quality (measured by FVD, CLIP, and VideoScore), and improved temporal and viewpoint consistency (measured by VideoScore and Dust3R-Confidence).