VideoAR: Autoregressieve videogeneratie via volgende-frame- en schaalvoorspelling
VideoAR: Autoregressive Video Generation via Next-Frame & Scale Prediction
January 9, 2026
Auteurs: Longbin Ji, Xiaoxiong Liu, Junyuan Shang, Shuohuan Wang, Yu Sun, Hua Wu, Haifeng Wang
cs.AI
Samenvatting
Recente vooruitgang in videogeneratie wordt gedomineerd door diffusie- en flow-matching-modellen, die hoogwaardige resultaten opleveren maar rekenintensief blijven en moeilijk op te schalen zijn. In dit werk introduceren we VideoAR, het eerste grootschalige Visueel Autoregressieve (VAR) raamwerk voor videogeneratie dat multi-schaal volgende-frame-voorspelling combineert met autoregressieve modellering. VideoAR ontwart ruimtelijke en temporele afhankelijkheden door intra-frame VAR-modellering te integreren met causale volgende-frame-voorspelling, ondersteund door een 3D multi-schaal tokenizer die ruimtelijk-temporele dynamiek efficiënt encodeert. Om de consistentie op lange termijn te verbeteren, stellen we Multi-schaal Temporele RoPE, Cross-Frame Foutcorrectie en Random Frame Mask voor, die gezamenlijk foutpropagatie verminderen en temporele coherentie stabiliseren. Onze meerfasige voor-trainingspijplijn aligneert progressief ruimtelijk en temporeel leren over toenemende resoluties en duur. Empirisch behaalt VideoAR nieuwe state-of-the-art resultaten onder autoregressieve modellen, verbetert FVD op UCF-101 van 99.5 naar 88.6 terwijl de inferentiestappen met meer dan 10x worden verminderd, en bereikt een VBench-score van 81.74 – vergelijkbaar met op diffusie gebaseerde modellen die een orde van grootte groter zijn. Deze resultaten tonen aan dat VideoAR de prestatiekloof tussen autoregressieve en diffusieparadigma’s verkleint, en een schaalbaar, efficiënt en temporeel consistent fundament biedt voor toekomstig onderzoek naar videogeneratie.
English
Recent advances in video generation have been dominated by diffusion and flow-matching models, which produce high-quality results but remain computationally intensive and difficult to scale. In this work, we introduce VideoAR, the first large-scale Visual Autoregressive (VAR) framework for video generation that combines multi-scale next-frame prediction with autoregressive modeling. VideoAR disentangles spatial and temporal dependencies by integrating intra-frame VAR modeling with causal next-frame prediction, supported by a 3D multi-scale tokenizer that efficiently encodes spatio-temporal dynamics. To improve long-term consistency, we propose Multi-scale Temporal RoPE, Cross-Frame Error Correction, and Random Frame Mask, which collectively mitigate error propagation and stabilize temporal coherence. Our multi-stage pretraining pipeline progressively aligns spatial and temporal learning across increasing resolutions and durations. Empirically, VideoAR achieves new state-of-the-art results among autoregressive models, improving FVD on UCF-101 from 99.5 to 88.6 while reducing inference steps by over 10x, and reaching a VBench score of 81.74-competitive with diffusion-based models an order of magnitude larger. These results demonstrate that VideoAR narrows the performance gap between autoregressive and diffusion paradigms, offering a scalable, efficient, and temporally consistent foundation for future video generation research.