ShotStream : Génération de vidéos multi-plans en streaming pour la narration interactive
ShotStream: Streaming Multi-Shot Video Generation for Interactive Storytelling
March 26, 2026
Auteurs: Yawen Luo, Xiaoyu Shi, Junhao Zhuang, Yutian Chen, Quande Liu, Xintao Wang, Pengfei Wan, Tianfan Xue
cs.AI
Résumé
La génération vidéo multi-plan est essentielle pour la narration longue, mais les architectures bidirectionnelles actuelles souffrent d'une interactivité limitée et d'une latence élevée. Nous proposons ShotStream, une nouvelle architecture causale multi-plan qui permet une narration interactive et une génération efficace d'images à la volée. En reformulant la tâche comme une génération du plan suivant conditionnée par le contexte historique, ShotStream permet aux utilisateurs de guider dynamiquement les récits en cours via des invites en flux continu. Nous y parvenons en affinant d'abord un modèle texte-à-vidéo en un générateur bidirectionnel de plans suivants, qui est ensuite distillé en un étudiant causal via la Distillation par Appariement de Distributions. Pour surmonter les défis de la cohérence inter-plan et de l'accumulation d'erreurs inhérentes à la génération autorégressive, nous introduisons deux innovations clés. Premièrement, un mécanisme de mémoire à double cache préserve la cohérence visuelle : un cache de contexte global retient les images conditionnelles pour la cohérence inter-plan, tandis qu'un cache de contexte local conserve les images générées dans le plan actuel pour la cohérence intra-plan. Un indicateur de discontinuité RoPE est utilisé pour distinguer explicitement les deux caches et éliminer l'ambiguïté. Deuxièmement, pour atténuer l'accumulation d'erreurs, nous proposons une stratégie de distillation en deux étapes. Celle-ci commence par un auto-forçage intra-plan conditionné par les plans historiques réels, puis s'étend progressivement à un auto-forçage inter-plan utilisant des historiques auto-générés, comblant ainsi efficacement l'écart entre l'entraînement et les tests. Des expériences approfondies démontrent que ShotStream génère des vidéos multi-plans cohérentes avec une latence inférieure à la seconde, atteignant 16 IPS sur un seul GPU. Il égale ou dépasse la qualité des modèles bidirectionnels plus lents, ouvrant la voie à la narration interactive en temps réel. Le code d'entraînement et d'inférence, ainsi que les modèles, sont disponibles sur notre site.
English
Multi-shot video generation is crucial for long narrative storytelling, yet current bidirectional architectures suffer from limited interactivity and high latency. We propose ShotStream, a novel causal multi-shot architecture that enables interactive storytelling and efficient on-the-fly frame generation. By reformulating the task as next-shot generation conditioned on historical context, ShotStream allows users to dynamically instruct ongoing narratives via streaming prompts. We achieve this by first fine-tuning a text-to-video model into a bidirectional next-shot generator, which is then distilled into a causal student via Distribution Matching Distillation. To overcome the challenges of inter-shot consistency and error accumulation inherent in autoregressive generation, we introduce two key innovations. First, a dual-cache memory mechanism preserves visual coherence: a global context cache retains conditional frames for inter-shot consistency, while a local context cache holds generated frames within the current shot for intra-shot consistency. And a RoPE discontinuity indicator is employed to explicitly distinguish the two caches to eliminate ambiguity. Second, to mitigate error accumulation, we propose a two-stage distillation strategy. This begins with intra-shot self-forcing conditioned on ground-truth historical shots and progressively extends to inter-shot self-forcing using self-generated histories, effectively bridging the train-test gap. Extensive experiments demonstrate that ShotStream generates coherent multi-shot videos with sub-second latency, achieving 16 FPS on a single GPU. It matches or exceeds the quality of slower bidirectional models, paving the way for real-time interactive storytelling. Training and inference code, as well as the models, are available on our