MotionStream: Generación de Video en Tiempo Real con Controles de Movimiento Interactivos

MotionStream: Real-Time Video Generation with Interactive Motion Controls

November 3, 2025

Autores: Joonghyuk Shin, Zhengqi Li, Richard Zhang, Jun-Yan Zhu, Jaesik Park, Eli Schechtman, Xun Huang

cs.AI

Resumen

Los métodos actuales de generación de vídeo condicionada por movimiento adolecen de una latencia prohibitiva (minutos por vídeo) y un procesamiento no causal que impide la interacción en tiempo real. Presentamos MotionStream, que permite una latencia inferior al segundo con generación en streaming de hasta 29 FPS en una única GPU. Nuestro enfoque comienza aumentando un modelo de texto a vídeo con control de movimiento, el cual genera vídeos de alta calidad que se adhieren al texto global y a la guía de movimiento local, pero no realiza inferencia sobre la marcha. Por ello, destilamos este profesor bidireccional en un estudiante causal mediante Auto-Forzado con Destilación por Correspondencia de Distribuciones, permitiendo inferencia en streaming en tiempo real. Surgen varios desafíos clave al generar vídeos de horizontes temporales largos y potencialmente infinitos: (1) salvar la brecha de dominio entre el entrenamiento con longitud finita y la extrapolación a horizontes infinitos, (2) sostener una alta calidad evitando la acumulación de errores, y (3) mantener una inferencia rápida, sin incurrir en un crecimiento del coste computacional debido a ventanas de contexto crecientes. Un elemento clave de nuestro enfoque es la introducción de una atención causal deslizante cuidadosamente diseñada, combinada con "sumideros de atención". Al incorporar auto-desarrollo con sumideros de atención y desplazamiento de la caché KV durante el entrenamiento, simulamos adecuadamente las extrapolaciones en tiempo de inferencia con una ventana de contexto fija, permitiendo la generación a velocidad constante de vídeos de longitud arbitraria. Nuestros modelos logran resultados de vanguardia en seguimiento de movimiento y calidad de vídeo, siendo dos órdenes de magnitud más rápidos y permitiendo de forma única streaming de longitud infinita. Con MotionStream, los usuarios pueden dibujar trayectorias, controlar cámaras o transferir movimiento, y ver los resultados desarrollarse en tiempo real, ofreciendo una experiencia verdaderamente interactiva.

English

Current motion-conditioned video generation methods suffer from prohibitive latency (minutes per video) and non-causal processing that prevents real-time interaction. We present MotionStream, enabling sub-second latency with up to 29 FPS streaming generation on a single GPU. Our approach begins by augmenting a text-to-video model with motion control, which generates high-quality videos that adhere to the global text prompt and local motion guidance, but does not perform inference on the fly. As such, we distill this bidirectional teacher into a causal student through Self Forcing with Distribution Matching Distillation, enabling real-time streaming inference. Several key challenges arise when generating videos of long, potentially infinite time-horizons: (1) bridging the domain gap from training on finite length and extrapolating to infinite horizons, (2) sustaining high quality by preventing error accumulation, and (3) maintaining fast inference, without incurring growth in computational cost due to increasing context windows. A key to our approach is introducing carefully designed sliding-window causal attention, combined with attention sinks. By incorporating self-rollout with attention sinks and KV cache rolling during training, we properly simulate inference-time extrapolations with a fixed context window, enabling constant-speed generation of arbitrarily long videos. Our models achieve state-of-the-art results in motion following and video quality while being two orders of magnitude faster, uniquely enabling infinite-length streaming. With MotionStream, users can paint trajectories, control cameras, or transfer motion, and see results unfold in real-time, delivering a truly interactive experience.