Vidéo 4Real : Apprentissage de la diffusion vidéo 4D photoréaliste généralisable

4Real-Video: Learning Generalizable Photo-Realistic 4D Video Diffusion

December 5, 2024

Auteurs: Chaoyang Wang, Peiye Zhuang, Tuan Duc Ngo, Willi Menapace, Aliaksandr Siarohin, Michael Vasilkovsky, Ivan Skorokhodov, Sergey Tulyakov, Peter Wonka, Hsin-Ying Lee

cs.AI

Résumé

Nous proposons 4Real-Video, un nouveau cadre pour générer des vidéos 4D, organisées sous forme de grille de trames vidéo avec des axes temporels et de points de vue. Dans cette grille, chaque ligne contient des trames partageant le même pas de temps, tandis que chaque colonne contient des trames du même point de vue. Nous proposons une architecture à deux flux novatrice. Un flux effectue des mises à jour de points de vue sur les colonnes, et l'autre flux effectue des mises à jour temporelles sur les lignes. Après chaque couche de transformateur de diffusion, une couche de synchronisation échange des informations entre les deux flux de jetons. Nous proposons deux implémentations de la couche de synchronisation, utilisant soit une synchronisation dure, soit une synchronisation douce. Cette architecture feedforward améliore les travaux précédents de trois manières : une vitesse d'inférence plus élevée, une qualité visuelle améliorée (mesurée par FVD, CLIP et VideoScore), et une meilleure cohérence temporelle et de points de vue (mesurée par VideoScore et Dust3R-Confidence).

English

We propose 4Real-Video, a novel framework for generating 4D videos, organized as a grid of video frames with both time and viewpoint axes. In this grid, each row contains frames sharing the same timestep, while each column contains frames from the same viewpoint. We propose a novel two-stream architecture. One stream performs viewpoint updates on columns, and the other stream performs temporal updates on rows. After each diffusion transformer layer, a synchronization layer exchanges information between the two token streams. We propose two implementations of the synchronization layer, using either hard or soft synchronization. This feedforward architecture improves upon previous work in three ways: higher inference speed, enhanced visual quality (measured by FVD, CLIP, and VideoScore), and improved temporal and viewpoint consistency (measured by VideoScore and Dust3R-Confidence).