ShotStream: Generación de Video Multitoma en Streaming para Narrativas Interactivas

ShotStream: Streaming Multi-Shot Video Generation for Interactive Storytelling

March 26, 2026

Autores: Yawen Luo, Xiaoyu Shi, Junhao Zhuang, Yutian Chen, Quande Liu, Xintao Wang, Pengfei Wan, Tianfan Xue

cs.AI

Resumen

La generación de vídeo multi-toma es crucial para la narrativa larga, pero las arquitecturas bidireccionales actuales adolecen de interactividad limitada y alta latencia. Proponemos ShotStream, una novedosa arquitectura causal multi-toma que permite la narrativa interactiva y la generación eficiente de fotogramas sobre la marcha. Al reformular la tarea como la generación de la siguiente toma condicionada por el contexto histórico, ShotStream permite a los usuarios instruir dinámicamente narrativas en curso mediante *prompts* en flujo continuo. Logramos esto primero afinando un modelo de texto a vídeo para convertirlo en un generador bidireccional de siguiente toma, que luego se destila en un estudiante causal mediante Destilación por Correspondencia de Distribuciones. Para superar los desafíos de consistencia inter-toma y acumulación de errores inherentes a la generación autoregresiva, introducimos dos innovaciones clave. Primero, un mecanismo de memoria de doble caché preserva la coherencia visual: un caché de contexto global retiene fotogramas condicionales para la consistencia inter-toma, mientras que un caché de contexto local almacena los fotogramas generados dentro de la toma actual para la consistencia intra-toma. Y se emplea un indicador de discontinuidad RoPE para distinguir explícitamente los dos cachés y eliminar ambigüedades. Segundo, para mitigar la acumulación de errores, proponemos una estrategia de destilación en dos etapas. Esta comienza con auto-forzado intra-toma condicionado por las tomas históricas reales y se extiende progresivamente a auto-forzado inter-toma utilizando historiales auto-generados, cerrando efectivamente la brecha entre entrenamiento y prueba. Experimentos exhaustivos demuestran que ShotStream genera vídeos multi-toma coherentes con latencia inferior a un segundo, alcanzando 16 FPS en una única GPU. Iguala o supera la calidad de modelos bidireccionales más lentos, allanando el camino para la narrativa interactiva en tiempo real. El código de entrenamiento e inferencia, así como los modelos, están disponibles en nuestro

English

Multi-shot video generation is crucial for long narrative storytelling, yet current bidirectional architectures suffer from limited interactivity and high latency. We propose ShotStream, a novel causal multi-shot architecture that enables interactive storytelling and efficient on-the-fly frame generation. By reformulating the task as next-shot generation conditioned on historical context, ShotStream allows users to dynamically instruct ongoing narratives via streaming prompts. We achieve this by first fine-tuning a text-to-video model into a bidirectional next-shot generator, which is then distilled into a causal student via Distribution Matching Distillation. To overcome the challenges of inter-shot consistency and error accumulation inherent in autoregressive generation, we introduce two key innovations. First, a dual-cache memory mechanism preserves visual coherence: a global context cache retains conditional frames for inter-shot consistency, while a local context cache holds generated frames within the current shot for intra-shot consistency. And a RoPE discontinuity indicator is employed to explicitly distinguish the two caches to eliminate ambiguity. Second, to mitigate error accumulation, we propose a two-stage distillation strategy. This begins with intra-shot self-forcing conditioned on ground-truth historical shots and progressively extends to inter-shot self-forcing using self-generated histories, effectively bridging the train-test gap. Extensive experiments demonstrate that ShotStream generates coherent multi-shot videos with sub-second latency, achieving 16 FPS on a single GPU. It matches or exceeds the quality of slower bidirectional models, paving the way for real-time interactive storytelling. Training and inference code, as well as the models, are available on our