4Real-Video: Обучение обобщаемой фотореалистичной диффузии 4D-видео

4Real-Video: Learning Generalizable Photo-Realistic 4D Video Diffusion

December 5, 2024

Авторы: Chaoyang Wang, Peiye Zhuang, Tuan Duc Ngo, Willi Menapace, Aliaksandr Siarohin, Michael Vasilkovsky, Ivan Skorokhodov, Sergey Tulyakov, Peter Wonka, Hsin-Ying Lee

cs.AI

Аннотация

Мы предлагаем 4Real-Video, новую концепцию для создания 4D видео, организованных в виде сетки видеокадров с временной и точки зрения осями. В этой сетке каждая строка содержит кадры, совпадающие по времени, в то время как каждый столбец содержит кадры с одной и той же точки зрения. Мы предлагаем новую двухпоточную архитектуру. Один поток выполняет обновления точки зрения по столбцам, а другой поток выполняет временные обновления по строкам. После каждого слоя диффузионного трансформатора слой синхронизации обменивается информацией между двумя потоками токенов. Мы предлагаем две реализации слоя синхронизации, используя либо жесткую, либо мягкую синхронизацию. Эта прямая архитектура улучшает предыдущие работы тремя способами: более высокая скорость вывода, улучшенное качество изображения (измеряемое по FVD, CLIP и VideoScore) и улучшенная временная и точечная согласованность (измеряемая по VideoScore и Dust3R-Confidence).

English

We propose 4Real-Video, a novel framework for generating 4D videos, organized as a grid of video frames with both time and viewpoint axes. In this grid, each row contains frames sharing the same timestep, while each column contains frames from the same viewpoint. We propose a novel two-stream architecture. One stream performs viewpoint updates on columns, and the other stream performs temporal updates on rows. After each diffusion transformer layer, a synchronization layer exchanges information between the two token streams. We propose two implementations of the synchronization layer, using either hard or soft synchronization. This feedforward architecture improves upon previous work in three ways: higher inference speed, enhanced visual quality (measured by FVD, CLIP, and VideoScore), and improved temporal and viewpoint consistency (measured by VideoScore and Dust3R-Confidence).