4Real-Video: 汎用性のある写真実在的な4Dビデオディフュージョンの学習

要旨

4Real-Videoという4Dビデオを生成するための新しいフレームワークを提案します。このフレームワークは、時間軸と視点軸を持つビデオフレームのグリッドとして構成されています。このグリッドでは、各行には同じタイムステップを共有するフレームが含まれ、各列には同じ視点からのフレームが含まれています。新しい二つのストリームアーキテクチャを提案しています。1つのストリームは列の視点の更新を行い、もう1つのストリームは行の時間的な更新を行います。各拡散トランスフォーマーレイヤーの後、同期レイヤーが2つのトークンストリーム間で情報を交換します。同期レイヤーの2つの実装を提案しており、ハード同期またはソフト同期のいずれかを使用します。このフィードフォワードアーキテクチャは、以前の研究に比べて3つの点で改善されています。推論速度が向上し、視覚品質が向上しています（FVD、CLIP、およびVideoScoreによって測定）、および時間的および視点の一貫性が向上しています（VideoScoreおよびDust3R-Confidenceによって測定）。

English

We propose 4Real-Video, a novel framework for generating 4D videos, organized as a grid of video frames with both time and viewpoint axes. In this grid, each row contains frames sharing the same timestep, while each column contains frames from the same viewpoint. We propose a novel two-stream architecture. One stream performs viewpoint updates on columns, and the other stream performs temporal updates on rows. After each diffusion transformer layer, a synchronization layer exchanges information between the two token streams. We propose two implementations of the synchronization layer, using either hard or soft synchronization. This feedforward architecture improves upon previous work in three ways: higher inference speed, enhanced visual quality (measured by FVD, CLIP, and VideoScore), and improved temporal and viewpoint consistency (measured by VideoScore and Dust3R-Confidence).

4Real-Video: 汎用性のある写真実在的な4Dビデオディフュージョンの学習

4Real-Video: Learning Generalizable Photo-Realistic 4D Video Diffusion

要旨

Support