4Real-Video: Het leren van generaliseerbare fotorealistische 4D video diffusie
4Real-Video: Learning Generalizable Photo-Realistic 4D Video Diffusion
December 5, 2024
Auteurs: Chaoyang Wang, Peiye Zhuang, Tuan Duc Ngo, Willi Menapace, Aliaksandr Siarohin, Michael Vasilkovsky, Ivan Skorokhodov, Sergey Tulyakov, Peter Wonka, Hsin-Ying Lee
cs.AI
Samenvatting
Wij stellen 4Real-Video voor, een nieuw raamwerk voor het genereren van 4D-video's, georganiseerd als een raster van videoframes met zowel tijd- als gezichtspuntassen. In dit raster bevat elke rij frames die dezelfde tijdstap delen, terwijl elke kolom frames bevat van hetzelfde gezichtspunt. We stellen een nieuw tweestromenarchitectuur voor. Eén stroom voert gezichtspuntupdates uit op kolommen, en de andere stroom voert temporale updates uit op rijen. Na elke diffusietransformerlaag wisselt een synchronisatielaag informatie uit tussen de twee tokenstromen. We stellen twee implementaties van de synchronisatielaag voor, waarbij gebruik wordt gemaakt van ofwel harde of zachte synchronisatie. Deze feedforward-architectuur verbetert eerdere werken op drie manieren: hogere inferentiesnelheid, verbeterde visuele kwaliteit (gemeten aan de hand van FVD, CLIP en VideoScore), en verbeterde temporale en gezichtspuntconsistentie (gemeten aan de hand van VideoScore en Dust3R-Confidence).
English
We propose 4Real-Video, a novel framework for generating 4D videos, organized
as a grid of video frames with both time and viewpoint axes. In this grid, each
row contains frames sharing the same timestep, while each column contains
frames from the same viewpoint. We propose a novel two-stream architecture. One
stream performs viewpoint updates on columns, and the other stream performs
temporal updates on rows. After each diffusion transformer layer, a
synchronization layer exchanges information between the two token streams. We
propose two implementations of the synchronization layer, using either hard or
soft synchronization. This feedforward architecture improves upon previous work
in three ways: higher inference speed, enhanced visual quality (measured by
FVD, CLIP, and VideoScore), and improved temporal and viewpoint consistency
(measured by VideoScore and Dust3R-Confidence).