VideoRAE: 表現オートエンコーダによるビデオ基盤モデルの生成モデリングへの適応

要旨

ビデオ生成モデルは一般に、3D変分オートエンコーダ（3D-VAE）によって学習された潜在空間に依存している。しかし、従来の3D-VAEは主にピクセルレベルの再構成に最適化されており、その潜在表現が捉える意味的・時空間的な構造に限界がある。一方、V-JEPA 2やVideoMAEv2などの映像基盤モデル（VFM）は強力な映像理解能力を示すが、それらの凍結表現をコンパクトで再構成可能かつ生成に適した映像潜在表現へと変換できるかどうかは、ほとんど未解明のままである。本稿では、この問いにVideoRAEで答える。VideoRAEは、凍結された映像基盤エンコーダからのマルチスケール階層的特徴を活用し、軽量な1次元自己注意プロジェクタで圧縮する表現オートエンコーダである。VideoRAEは、拡散トランスフォーマー（DiT）向けの連続潜在表現と、マルチコードブック高次元量子化による自己回帰モデル（AR）向けの離散トークンの両方をサポートする。復号時には、凍結VFM教師モデルとの局所・大域表現アライメント目的関数により意味的保存性が向上し、KL正則化なしでの学習を可能にする。実験では、VideoRAEが連続・離散の両方の設定で高い再構成性能を達成する。UCF-101では、AR生成器およびDiT生成器を用いて、クラスからビデオへの生成FVD（gFVD）でそれぞれ40と93という最先端の値を達成し、競合するオートエンコーダベースラインと比較して約5倍の高速収束を実現する。制御された2B規模のテキストからビデオへの生成研究では、LTX-VAEをVideoRAEに置き換えることで、同等の設定下でより速い収束が得られた。これらの結果は、凍結VFM表現が多用途で生成に適した映像潜在表現であることを実証している。モデルとコードは https://zhxie0117.github.io/VideoRAE で公開予定である。

English

Video generative models commonly rely on latent spaces learned by 3D Variational Autoencoders (3D-VAEs). However, conventional 3D-VAEs are mainly optimized for pixel-level reconstruction, which can limit the semantic and spatio-temporal structure captured by their latents. Meanwhile, Video Foundation Models (VFMs) such as V-JEPA 2 and VideoMAEv2 show strong video understanding capabilities, yet whether their frozen representations can be transformed into compact, reconstruction-capable, and generation-friendly video latents remains largely unexplored. We answer this question with VideoRAE, a representation autoencoder that leverages multi-scale hierarchical features from a frozen video foundation encoder and compresses them with a lightweight 1D self-attention projector. VideoRAE supports both continuous latents for Diffusion Transformers and discrete tokens for autoregressive models via multi-codebook high-dimensional quantization. During decoding, a local-and-global representation alignment objective with the frozen VFM teacher improves semantic preservation and enables training without KL regularization. Experiments show that VideoRAE achieves strong reconstruction in both continuous and discrete regimes. On UCF-101, it obtains state-of-the-art class-to-video gFVDs of 40 and 93 with AR and DiT generators, respectively, while converging approximately 5x faster than competing autoencoder baselines. In a controlled 2B-scale text-to-video study, replacing LTX-VAE with VideoRAE leads to faster convergence under comparable settings. These results validate frozen VFM representations as versatile and generation-friendly video latents. The model and code will be released on https://zhxie0117.github.io/VideoRAE.