MotionStream: Real-time videogeneratie met interactieve bewegingsbesturing

MotionStream: Real-Time Video Generation with Interactive Motion Controls

November 3, 2025

Auteurs: Joonghyuk Shin, Zhengqi Li, Richard Zhang, Jun-Yan Zhu, Jaesik Park, Eli Schechtman, Xun Huang

cs.AI

Samenvatting

Huidige methoden voor videogeneratie op basis van beweging hebben last van verboden latentie (minuten per video) en niet-causale verwerking die real-time interactie onmogelijk maakt. Wij presenteren MotionStream, dat subseconden latentie mogelijk maakt met een streaminggeneratie tot 29 FPS op een enkele GPU. Onze aanpak begint met het uitbreiden van een tekst-naar-videomodel met bewegingscontrole, dat hoogwaardige video's genereert die voldoen aan de globale tekstprompt en lokale bewegingsrichtlijnen, maar geen real-time inferentie uitvoert. Vervolgens distilleren we deze bidirectionele leraar in een causale student via Self Forcing met Distribution Matching Distillation, waardoor real-time streaminginferentie mogelijk wordt. Er doen zich verschillende belangrijke uitdagingen voor bij het genereren van video's met lange, mogelijk oneindige tijdshorizons: (1) het overbruggen van de domeinkloof tussen training op eindige lengte en extrapolatie naar oneindige horizons, (2) het handhaven van hoge kwaliteit door het voorkomen van foutaccumulatie, en (3) het behouden van snelle inferentie zonder groei in rekenkosten door toenemende contextvensters. Een sleutelelement van onze aanpak is de introductie van zorgvuldig ontworpen causal attention met schuifvensters, gecombineerd met attention sinks. Door self-rollout met attention sinks en KV-cache-rolling tijdens de training te incorporeren, simuleren we correcte inferentietijd-extrapolaties met een vast contextvenster, waardoor generatie met constante snelheid van willekeurig lange video's mogelijk wordt. Onze modellen behalen state-of-the-art resultaten in bewegingvolging en videokwaliteit, terwijl ze twee orden van grootte sneller zijn en uniek in staat zijn tot streaming van oneindige lengte. Met MotionStream kunnen gebruikers trajecten tekenen, camera's besturen of beweging overdragen, en de resultaten in real-time zien ontvouwen, wat een werkelijk interactieve ervaring biedt.

English

Current motion-conditioned video generation methods suffer from prohibitive latency (minutes per video) and non-causal processing that prevents real-time interaction. We present MotionStream, enabling sub-second latency with up to 29 FPS streaming generation on a single GPU. Our approach begins by augmenting a text-to-video model with motion control, which generates high-quality videos that adhere to the global text prompt and local motion guidance, but does not perform inference on the fly. As such, we distill this bidirectional teacher into a causal student through Self Forcing with Distribution Matching Distillation, enabling real-time streaming inference. Several key challenges arise when generating videos of long, potentially infinite time-horizons: (1) bridging the domain gap from training on finite length and extrapolating to infinite horizons, (2) sustaining high quality by preventing error accumulation, and (3) maintaining fast inference, without incurring growth in computational cost due to increasing context windows. A key to our approach is introducing carefully designed sliding-window causal attention, combined with attention sinks. By incorporating self-rollout with attention sinks and KV cache rolling during training, we properly simulate inference-time extrapolations with a fixed context window, enabling constant-speed generation of arbitrarily long videos. Our models achieve state-of-the-art results in motion following and video quality while being two orders of magnitude faster, uniquely enabling infinite-length streaming. With MotionStream, users can paint trajectories, control cameras, or transfer motion, and see results unfold in real-time, delivering a truly interactive experience.