Оптимизация длинного контекста для генерации видео

Long Context Tuning for Video Generation

March 13, 2025

Авторы: Yuwei Guo, Ceyuan Yang, Ziyan Yang, Zhibei Ma, Zhijie Lin, Zhenheng Yang, Dahua Lin, Lu Jiang

cs.AI

Аннотация

Последние достижения в области генерации видео позволяют создавать реалистичные односценовые ролики продолжительностью до минуты с использованием масштабируемых диффузионных трансформеров. Однако реальные повествовательные видео требуют многосценовых композиций с визуальной и динамической согласованностью между сценами. В данной работе мы представляем Long Context Tuning (LCT) — метод обучения, который расширяет контекстное окно предварительно обученных моделей односценовой видео-диффузии для изучения согласованности на уровне сцены непосредственно из данных. Наш метод расширяет механизмы полного внимания с отдельных сцен на все сцены в рамках одной композиции, включая чередующиеся 3D-позиционные эмбеддинги и асинхронную стратегию шума, что позволяет осуществлять как совместную, так и авторегрессионную генерацию сцен без дополнительных параметров. Модели с двунаправленным вниманием после LCT могут быть дополнительно дообучены с использованием контекстно-каузального внимания, что способствует авторегрессионной генерации с эффективным KV-кэшированием. Эксперименты показывают, что односценовые модели после LCT способны создавать согласованные многосценовые композиции и демонстрируют новые возможности, включая композиционную генерацию и интерактивное расширение сцен, открывая путь к более практичному созданию визуального контента. Подробности доступны по ссылке: https://guoyww.github.io/projects/long-context-video/.

English

Recent advances in video generation can produce realistic, minute-long single-shot videos with scalable diffusion transformers. However, real-world narrative videos require multi-shot scenes with visual and dynamic consistency across shots. In this work, we introduce Long Context Tuning (LCT), a training paradigm that expands the context window of pre-trained single-shot video diffusion models to learn scene-level consistency directly from data. Our method expands full attention mechanisms from individual shots to encompass all shots within a scene, incorporating interleaved 3D position embedding and an asynchronous noise strategy, enabling both joint and auto-regressive shot generation without additional parameters. Models with bidirectional attention after LCT can further be fine-tuned with context-causal attention, facilitating auto-regressive generation with efficient KV-cache. Experiments demonstrate single-shot models after LCT can produce coherent multi-shot scenes and exhibit emerging capabilities, including compositional generation and interactive shot extension, paving the way for more practical visual content creation. See https://guoyww.github.io/projects/long-context-video/ for more details.