VideoRAE: 표현 오토인코더를 통한 비디오 기반 모델의 생성 모델링 제어

초록

비디오 생성 모델은 일반적으로 3D 변분 오토인코더(3D-VAE)로 학습된 잠재 공간에 의존한다. 그러나 기존의 3D-VAE는 주로 픽셀 수준 재구성에 최적화되어 있어, 잠재 변수가 포착하는 의미적 및 시공간적 구조에 한계가 있다. 한편 V-JEPA 2 및 VideoMAEv2와 같은 비디오 기반 모델(VFM)은 강력한 비디오 이해 능력을 보여주지만, 이들의 고정된 표현을 간결하고 재구성 가능하며 생성에 적합한 비디오 잠재 변수로 변환할 수 있는지는 아직 충분히 탐구되지 않았다. 본 연구에서는 이러한 질문에 답하기 위해 VideoRAE를 제안한다. VideoRAE는 고정된 비디오 기반 인코더로부터 다중 스케일 계층적 특징을 활용하고, 이를 경량 1D 자기 주의 투사기로 압축하는 표현 오토인코더이다. VideoRAE는 다중 코드북 고차원 양자화를 통해 확산 트랜스포머(DiT)용 연속 잠재 변수와 자기회귀(AR) 모델용 이산 토큰을 모두 지원한다. 디코딩 과정에서는 고정된 VFM 교사와의 지역-전역 표현 정렬 목표를 통해 의미 보존을 개선하고, KL 정규화 없이도 학습이 가능하다. 실험 결과, VideoRAE는 연속 및 이산 영역 모두에서 강력한 재구성 성능을 달성한다. UCF-101 데이터셋에서 AR 및 DiT 생성기를 사용할 때 각각 40과 93의 최첨단 클래스-비디오 gFVD를 기록했으며, 경쟁 오토인코더 기준 모델 대비 약 5배 빠른 수렴 속도를 보였다. 2B 규모의 제어된 텍스트-비디오 연구에서 LTX-VAE를 VideoRAE로 대체했을 때, 유사한 설정에서 더 빠른 수렴을 확인했다. 이러한 결과는 고정된 VFM 표현이 다양하고 생성에 적합한 비디오 잠재 변수임을 입증한다. 모델과 코드는 https://zhxie0117.github.io/VideoRAE에서 공개될 예정이다.

English

Video generative models commonly rely on latent spaces learned by 3D Variational Autoencoders (3D-VAEs). However, conventional 3D-VAEs are mainly optimized for pixel-level reconstruction, which can limit the semantic and spatio-temporal structure captured by their latents. Meanwhile, Video Foundation Models (VFMs) such as V-JEPA 2 and VideoMAEv2 show strong video understanding capabilities, yet whether their frozen representations can be transformed into compact, reconstruction-capable, and generation-friendly video latents remains largely unexplored. We answer this question with VideoRAE, a representation autoencoder that leverages multi-scale hierarchical features from a frozen video foundation encoder and compresses them with a lightweight 1D self-attention projector. VideoRAE supports both continuous latents for Diffusion Transformers and discrete tokens for autoregressive models via multi-codebook high-dimensional quantization. During decoding, a local-and-global representation alignment objective with the frozen VFM teacher improves semantic preservation and enables training without KL regularization. Experiments show that VideoRAE achieves strong reconstruction in both continuous and discrete regimes. On UCF-101, it obtains state-of-the-art class-to-video gFVDs of 40 and 93 with AR and DiT generators, respectively, while converging approximately 5x faster than competing autoencoder baselines. In a controlled 2B-scale text-to-video study, replacing LTX-VAE with VideoRAE leads to faster convergence under comparable settings. These results validate frozen VFM representations as versatile and generation-friendly video latents. The model and code will be released on https://zhxie0117.github.io/VideoRAE.