MotionStream: Echtzeit-Videoerstellung mit interaktiven Bewegungssteuerungen

MotionStream: Real-Time Video Generation with Interactive Motion Controls

November 3, 2025

papers.authors: Joonghyuk Shin, Zhengqi Li, Richard Zhang, Jun-Yan Zhu, Jaesik Park, Eli Schechtman, Xun Huang

cs.AI

papers.abstract

Aktuelle bewegungsgesteuerte Video-Generierungsmethoden leiden unter prohibitiv hoher Latenz (Minuten pro Video) und nicht-kausaler Verarbeitung, die Echtzeit-Interaktion verhindert. Wir präsentieren MotionStream, das Latenzen im Subsekundenbereich mit einer Streaming-Generierung von bis zu 29 FPS auf einer einzelnen GPU ermöglicht. Unser Ansatz beginnt mit der Erweiterung eines Text-zu-Video-Modells um Bewegungssteuerung, welches hochwertige Videos erzeugt, die dem globalen Text-Prompt und der lokalen Bewegungsvorgabe folgen, jedoch keine Inferenz in Echtzeit durchführt. Daher distillieren wir diesen bidirektionalen Lehrer in einen kausalen Schüler mittels Self Forcing with Distribution Matching Distillation, was Echtzeit-Streaming-Inferenz ermöglicht. Bei der Generierung von Videos mit langen, potenziell unendlichen Zeit-Horizonten ergeben sich mehrere zentrale Herausforderungen: (1) die Überbrückung der Domänenlücke zwischen dem Training auf endlicher Länge und der Extrapolation auf unendliche Horizonte, (2) die Aufrechterhaltung hoher Qualität durch die Verhinderung von Fehlerakkumulation und (3) die Beibehaltung schneller Inferenz ohne Anstieg der Rechenkosten durch wachsende Kontextfenster. Ein Schlüssel unseres Ansatzes ist die Einführung eines speziell entwickelten kausalen Sliding-Window-Attentionsmechanismus, kombiniert mit Attention Sinks. Durch die Integration von Self-Rollout mit Attention Sinks und KV-Cache-Rolling während des Trainings simulieren wir Inferenz-Zeit-Extrapolationen mit einem festen Kontextfenster korrekt und ermöglichen so eine generation mit konstanter Geschwindigkeit für beliebig lange Videos. Unsere Modelle erzielen state-of-the-art Ergebnisse in Bewegungsfolge und Videqualität, sind dabei zwei Größenordnungen schneller und ermöglichen einzigartig unendlich langes Streaming. Mit MotionStream können Nutzer Trajektorien malen, Kameras steuern oder Bewegungen übertragen und die Ergebnisse in Echtzeit entstehen sehen, was eine wirklich interaktive Erfahrung liefert.

English

Current motion-conditioned video generation methods suffer from prohibitive latency (minutes per video) and non-causal processing that prevents real-time interaction. We present MotionStream, enabling sub-second latency with up to 29 FPS streaming generation on a single GPU. Our approach begins by augmenting a text-to-video model with motion control, which generates high-quality videos that adhere to the global text prompt and local motion guidance, but does not perform inference on the fly. As such, we distill this bidirectional teacher into a causal student through Self Forcing with Distribution Matching Distillation, enabling real-time streaming inference. Several key challenges arise when generating videos of long, potentially infinite time-horizons: (1) bridging the domain gap from training on finite length and extrapolating to infinite horizons, (2) sustaining high quality by preventing error accumulation, and (3) maintaining fast inference, without incurring growth in computational cost due to increasing context windows. A key to our approach is introducing carefully designed sliding-window causal attention, combined with attention sinks. By incorporating self-rollout with attention sinks and KV cache rolling during training, we properly simulate inference-time extrapolations with a fixed context window, enabling constant-speed generation of arbitrarily long videos. Our models achieve state-of-the-art results in motion following and video quality while being two orders of magnitude faster, uniquely enabling infinite-length streaming. With MotionStream, users can paint trajectories, control cameras, or transfer motion, and see results unfold in real-time, delivering a truly interactive experience.