V-RAE：生成のためのビデオ潜在空間の再考

要旨

潜在ビデオ生成は、生成モデルが動作するコンパクトな空間を定義するために、オートエンコーダに依存している。ビデオオートエンコーダのアーキテクチャは大幅に進化してきたが、その潜在空間は今なお主にピクセルレベルの再構成に対して最適化されており、高レベルの意味的組織化は限られている。しかしながら、再構成に最適な潜在空間が生成モデリングに適しているとは限らない。我々は、凍結された視覚基盤モデルの表現の上にコンパクトな生成的潜在変数を構築するビデオ表現オートエンコーダであるV-RAEを提案する。軽量な時間的プーリングモジュールが意味的構造を保持しつつ時間的冗長性を除去し、ビデオデコーダが圧縮特徴から連続的な動きを再構成する。我々は、ビデオ再構成、意味的プロービング、クラス条件付き生成において、4つの代表的な凍結エンコーダを用いてV-RAEを評価する。V-RAEはK600において2.13のrFVDを達成し、評価したすべての大規模事前学習済みビデオVAEを上回る。その潜在変数は、従来のビデオトークナイザの潜在変数よりもかなり多くの意味的情報を保持している。一致した生成設定の下で、我々の最良の変種はUCF101およびK600においてそれぞれ117.86および19.16のgFVDスコアを達成し、最大6倍高速に収束する。さらに我々は、再構成品質だけでは生成的実用性を特徴付けるには不十分であることを示し、下流の生成品質とより確実に相関する時間的コヒーレンス診断指標であるtFVDを導入する。ビデオ生成に加えて、V-RAEは、一致した予測設定の下で、Wan 2.2 VAE潜在空間を用いるCityscapes上の将来ビデオ予測も改善する。総合すると、実験は凍結された意味的表現がビデオ再構成、生成、および予測モデリングを支えることができることを示している。プロジェクトページ: https://v-rae.github.io/。

English

Latent video generation relies on autoencoders to define a compact space in which generative models operate. Although video autoencoder architectures have evolved substantially, their latent spaces are still optimized primarily for pixel-level reconstruction and provide limited high-level semantic organization. A reconstruction-optimal latent space, however, need not be well suited to generative modeling. We propose V-RAE, a video representation autoencoder that builds compact generative latents on top of frozen vision foundation model representations. A lightweight temporal pooling module removes temporal redundancy while preserving semantic structure, and a video decoder reconstructs continuous motion from the compressed features. We evaluate V-RAE with four representative frozen encoders on video reconstruction, semantic probing, and class-conditional generation. V-RAE achieves 2.13 rFVD on K600, outperforming all evaluated large-scale pretrained video VAEs. Its latents retain substantially more semantic information than conventional video tokenizer latents. Under matched generation settings, our best variant achieves gFVD scores of 117.86 and 19.16 on UCF101 and K600, respectively, while converging up to 6x faster}. We further show that reconstruction quality alone is insufficient to characterize generative utility and introduce tFVD, a temporal-coherence diagnostic that correlates more reliably with downstream generation quality. Beyond video generation, V-RAE also improves future video prediction on Cityscapes over the Wan 2.2 VAE latent space under matched prediction settings. Taken together, the experiments show that frozen semantic representations can support video reconstruction, generation, and predictive modeling. The project page: https://v-rae.github.io/.