Ottimizzazione del Contesto Esteso per la Generazione di Video

Long Context Tuning for Video Generation

March 13, 2025

Autori: Yuwei Guo, Ceyuan Yang, Ziyan Yang, Zhibei Ma, Zhijie Lin, Zhenheng Yang, Dahua Lin, Lu Jiang

cs.AI

Abstract

I recenti progressi nella generazione di video consentono di produrre video realistici e della durata di un minuto in un'unica ripresa utilizzando trasformatori di diffusione scalabili. Tuttavia, i video narrativi del mondo reale richiedono scene multi-ripresa con coerenza visiva e dinamica tra le diverse riprese. In questo lavoro, introduciamo il Long Context Tuning (LCT), un paradigma di addestramento che espande la finestra contestuale di modelli di diffusione video pre-addestrati per singola ripresa, consentendo di apprendere direttamente dai dati la coerenza a livello di scena. Il nostro metodo estende i meccanismi di attenzione completa dalle singole riprese a tutte le riprese all'interno di una scena, incorporando un'incorporazione posizionale 3D intervallata e una strategia di rumore asincrono, permettendo sia la generazione congiunta che auto-regressiva delle riprese senza parametri aggiuntivi. I modelli con attenzione bidirezionale dopo LCT possono essere ulteriormente perfezionati con attenzione contestuale-causale, facilitando la generazione auto-regressiva con un efficiente KV-cache. Gli esperimenti dimostrano che i modelli per singola ripresa dopo LCT possono produrre scene multi-ripresa coerenti e mostrare capacità emergenti, tra cui la generazione composizionale e l'estensione interattiva delle riprese, aprendo la strada a una creazione di contenuti visivi più pratica. Per maggiori dettagli, consultare https://guoyww.github.io/projects/long-context-video/.

English

Recent advances in video generation can produce realistic, minute-long single-shot videos with scalable diffusion transformers. However, real-world narrative videos require multi-shot scenes with visual and dynamic consistency across shots. In this work, we introduce Long Context Tuning (LCT), a training paradigm that expands the context window of pre-trained single-shot video diffusion models to learn scene-level consistency directly from data. Our method expands full attention mechanisms from individual shots to encompass all shots within a scene, incorporating interleaved 3D position embedding and an asynchronous noise strategy, enabling both joint and auto-regressive shot generation without additional parameters. Models with bidirectional attention after LCT can further be fine-tuned with context-causal attention, facilitating auto-regressive generation with efficient KV-cache. Experiments demonstrate single-shot models after LCT can produce coherent multi-shot scenes and exhibit emerging capabilities, including compositional generation and interactive shot extension, paving the way for more practical visual content creation. See https://guoyww.github.io/projects/long-context-video/ for more details.