Lang Context Afstemming voor Videogeneratie

Long Context Tuning for Video Generation

March 13, 2025

Auteurs: Yuwei Guo, Ceyuan Yang, Ziyan Yang, Zhibei Ma, Zhijie Lin, Zhenheng Yang, Dahua Lin, Lu Jiang

cs.AI

Samenvatting

Recente vooruitgang in videogeneratie maakt het mogelijk realistische, minutenlange single-shot video's te produceren met schaalbare diffusie-transformers. Echter, vereisen narratieve video's uit de echte wereld multi-shot scènes met visuele en dynamische consistentie tussen shots. In dit werk introduceren we Long Context Tuning (LCT), een trainingsparadigma dat het contextvenster van vooraf getrainde single-shot videodiffusiemodellen uitbreidt om scèniveauconsistentie direct uit data te leren. Onze methode breidt volledige aandachtmechanismen uit van individuele shots naar alle shots binnen een scène, waarbij interleaved 3D-positie-embedding en een asynchrone ruisstrategie worden geïntegreerd, wat zowel gezamenlijke als autoregressieve shotgeneratie mogelijk maakt zonder extra parameters. Modellen met bidirectionele aandacht na LCT kunnen verder worden verfijnd met context-causale aandacht, wat efficiënte autoregressieve generatie met KV-cache mogelijk maakt. Experimenten tonen aan dat single-shot modellen na LCT coherente multi-shot scènes kunnen produceren en opkomende capaciteiten vertonen, waaronder compositionele generatie en interactieve shotextensie, wat de weg effent voor praktischer visuele contentcreatie. Zie https://guoyww.github.io/projects/long-context-video/ voor meer details.

English

Recent advances in video generation can produce realistic, minute-long single-shot videos with scalable diffusion transformers. However, real-world narrative videos require multi-shot scenes with visual and dynamic consistency across shots. In this work, we introduce Long Context Tuning (LCT), a training paradigm that expands the context window of pre-trained single-shot video diffusion models to learn scene-level consistency directly from data. Our method expands full attention mechanisms from individual shots to encompass all shots within a scene, incorporating interleaved 3D position embedding and an asynchronous noise strategy, enabling both joint and auto-regressive shot generation without additional parameters. Models with bidirectional attention after LCT can further be fine-tuned with context-causal attention, facilitating auto-regressive generation with efficient KV-cache. Experiments demonstrate single-shot models after LCT can produce coherent multi-shot scenes and exhibit emerging capabilities, including compositional generation and interactive shot extension, paving the way for more practical visual content creation. See https://guoyww.github.io/projects/long-context-video/ for more details.