4Real-Video: Aprendizagem de Difusão de Vídeo 4D Fotorealístico Generalizável

4Real-Video: Learning Generalizable Photo-Realistic 4D Video Diffusion

December 5, 2024

Autores: Chaoyang Wang, Peiye Zhuang, Tuan Duc Ngo, Willi Menapace, Aliaksandr Siarohin, Michael Vasilkovsky, Ivan Skorokhodov, Sergey Tulyakov, Peter Wonka, Hsin-Ying Lee

cs.AI

Resumo

Propomos o 4Real-Video, um novo framework para gerar vídeos 4D, organizados como uma grade de quadros de vídeo com eixos de tempo e ponto de vista. Nesta grade, cada linha contém quadros que compartilham o mesmo intervalo de tempo, enquanto cada coluna contém quadros do mesmo ponto de vista. Propomos uma arquitetura de dois fluxos inovadora. Um fluxo realiza atualizações de ponto de vista nas colunas, e o outro fluxo realiza atualizações temporais nas linhas. Após cada camada de transformador de difusão, uma camada de sincronização troca informações entre os dois fluxos de tokens. Propomos duas implementações da camada de sincronização, usando sincronização rígida ou suave. Esta arquitetura feedforward melhora trabalhos anteriores de três maneiras: maior velocidade de inferência, qualidade visual aprimorada (medida por FVD, CLIP e VideoScore), e melhor consistência temporal e de ponto de vista (medida por VideoScore e Dust3R-Confidence).

English

We propose 4Real-Video, a novel framework for generating 4D videos, organized as a grid of video frames with both time and viewpoint axes. In this grid, each row contains frames sharing the same timestep, while each column contains frames from the same viewpoint. We propose a novel two-stream architecture. One stream performs viewpoint updates on columns, and the other stream performs temporal updates on rows. After each diffusion transformer layer, a synchronization layer exchanges information between the two token streams. We propose two implementations of the synchronization layer, using either hard or soft synchronization. This feedforward architecture improves upon previous work in three ways: higher inference speed, enhanced visual quality (measured by FVD, CLIP, and VideoScore), and improved temporal and viewpoint consistency (measured by VideoScore and Dust3R-Confidence).