ShotStream: Streaming-Erstellung von Multishot-Videos für interaktives Storytelling
ShotStream: Streaming Multi-Shot Video Generation for Interactive Storytelling
March 26, 2026
Autoren: Yawen Luo, Xiaoyu Shi, Junhao Zhuang, Yutian Chen, Quande Liu, Xintao Wang, Pengfei Wan, Tianfan Xue
cs.AI
Zusammenfassung
Die Erzeugung von Mehrfach-Szenen-Videos ist entscheidend für lange narrative Erzählungen, doch aktuelle bidirektionale Architekturen leiden unter begrenzter Interaktivität und hoher Latenz. Wir stellen ShotStream vor, eine neuartige kausale Mehrfach-Szenen-Architektur, die interaktives Storytelling und effiziente Echtzeit-Bildgenerierung ermöglicht. Indem wir die Aufgabe als Generierung der nächsten Szene unter Berücksichtigung des historischen Kontexts neu formulieren, ermöglicht ShotStream Nutzern, laufende Erzählungen dynamisch durch Streaming-Eingabeaufforderungen zu steuern. Wir erreichen dies, indem wir zunächst ein Text-zu-Video-Modell zu einem bidirektionalen "Nächste-Szene"-Generator feinabstimmen, der dann durch Distribution Matching Distillation in einen kausalen Studenten destilliert wird. Um die Herausforderungen der Konsistenz zwischen Szenen und der Fehlerakkumulation, die der autoregressiven Generierung inhärent sind, zu bewältigen, führen wir zwei Schlüsselinnovationen ein. Erstens, ein Dual-Cache-Speichermechanismus bewahrt visuelle Kohärenz: Ein globaler Kontext-Cache behält konditionale Frames für die Konsistenz zwischen Szenen, während ein lokaler Kontext-Cache generierte Frames innerhalb der aktuellen Szene für die Konsistenz innerhalb der Szene speichert. Zudem wird ein RoPE-Diskontinuitätsindikator eingesetzt, um die beiden Caches explizit zu unterscheiden und Mehrdeutigkeiten zu beseitigen. Zweitens schlagen wir zur Minderung der Fehlerakkumulation eine Zwei-Stufen-Destillationsstrategie vor. Diese beginnt mit Intra-Szene-Selbst-Forcing unter Verwendung von Ground-Truth-Historien-Szenen und erstreckt sich progressiv auf Inter-Szene-Selbst-Forcing mit selbstgenerierten Historiendaten, wodurch die Trainings-Test-Lücke effektiv überbrückt wird. Umfangreiche Experimente zeigen, dass ShotStream kohärente Mehrfach-Szenen-Videos mit Sub-Sekunden-Latenz erzeugt und 16 FPS auf einer einzelnen GPU erreicht. Es erreicht oder übertrifft die Qualität langsamerer bidirektionaler Modelle und ebnet so den Weg für Echtzeit-Interaktives-Storytelling. Trainings- und Inferenzcode sowie die Modelle sind auf unserer
English
Multi-shot video generation is crucial for long narrative storytelling, yet current bidirectional architectures suffer from limited interactivity and high latency. We propose ShotStream, a novel causal multi-shot architecture that enables interactive storytelling and efficient on-the-fly frame generation. By reformulating the task as next-shot generation conditioned on historical context, ShotStream allows users to dynamically instruct ongoing narratives via streaming prompts. We achieve this by first fine-tuning a text-to-video model into a bidirectional next-shot generator, which is then distilled into a causal student via Distribution Matching Distillation. To overcome the challenges of inter-shot consistency and error accumulation inherent in autoregressive generation, we introduce two key innovations. First, a dual-cache memory mechanism preserves visual coherence: a global context cache retains conditional frames for inter-shot consistency, while a local context cache holds generated frames within the current shot for intra-shot consistency. And a RoPE discontinuity indicator is employed to explicitly distinguish the two caches to eliminate ambiguity. Second, to mitigate error accumulation, we propose a two-stage distillation strategy. This begins with intra-shot self-forcing conditioned on ground-truth historical shots and progressively extends to inter-shot self-forcing using self-generated histories, effectively bridging the train-test gap. Extensive experiments demonstrate that ShotStream generates coherent multi-shot videos with sub-second latency, achieving 16 FPS on a single GPU. It matches or exceeds the quality of slower bidirectional models, paving the way for real-time interactive storytelling. Training and inference code, as well as the models, are available on our