MotionStream: Генерация видео в реальном времени с интерактивным управлением движением

MotionStream: Real-Time Video Generation with Interactive Motion Controls

November 3, 2025

Авторы: Joonghyuk Shin, Zhengqi Li, Richard Zhang, Jun-Yan Zhu, Jaesik Park, Eli Schechtman, Xun Huang

cs.AI

Аннотация

Современные методы генерации видео с условием по движению страдают от неприемлемой задержки (минуты на видео) и некаузальной обработки, что исключает возможность интерактивной работы в реальном времени. Мы представляем MotionStream, который обеспечивает задержку менее секунды и потоковую генерацию со скоростью до 29 кадров в секунду на одном GPU. Наш подход начинается с расширения модели тексту-видео управлением движением, что позволяет генерировать высококачественные видео, соответствующие глобальному текстовому промпту и локальным указаниям по движению, но не выполняет вывод на лету. Поэтому мы проводим дистилляцию этой двунаправленной учительской модели в каузальную ученическую с помощью Self Forcing with Distribution Matching Distillation, что обеспечивает потоковый вывод в реальном времени. При генерации видео с длинным, потенциально бесконечным горизонтом возникает несколько ключевых проблем: (1) преодоление разрыва между доменами при обучении на конечных последовательностях и экстраполяции на бесконечные горизонты, (2) поддержание высокого качества за счет предотвращения накопления ошибок и (3) сохранение быстрого вывода без роста вычислительных затрат из-за увеличения контекстных окон. Ключевым элементом нашего подхода является введение тщательно спроектированного каузального скользящего оконного внимания в сочетании с attention sinks. Внедряя self-rollout с attention sinks и rolling KV-кэша во время обучения, мы корректно моделируем экстраполяцию во время вывода с фиксированным контекстным окном, что позволяет генерировать видео произвольной длины с постоянной скоростью. Наши модели достигают state-of-the-art результатов в точности следования движению и качестве видео, будучи при этом на два порядка быстрее и уникально обеспечивая генерацию бесконечной длины в потоковом режиме. С MotionStream пользователи могут рисовать траектории, управлять камерами или переносить движение и видеть результаты в реальном времени, что обеспечивает подлинно интерактивный опыт.

English

Current motion-conditioned video generation methods suffer from prohibitive latency (minutes per video) and non-causal processing that prevents real-time interaction. We present MotionStream, enabling sub-second latency with up to 29 FPS streaming generation on a single GPU. Our approach begins by augmenting a text-to-video model with motion control, which generates high-quality videos that adhere to the global text prompt and local motion guidance, but does not perform inference on the fly. As such, we distill this bidirectional teacher into a causal student through Self Forcing with Distribution Matching Distillation, enabling real-time streaming inference. Several key challenges arise when generating videos of long, potentially infinite time-horizons: (1) bridging the domain gap from training on finite length and extrapolating to infinite horizons, (2) sustaining high quality by preventing error accumulation, and (3) maintaining fast inference, without incurring growth in computational cost due to increasing context windows. A key to our approach is introducing carefully designed sliding-window causal attention, combined with attention sinks. By incorporating self-rollout with attention sinks and KV cache rolling during training, we properly simulate inference-time extrapolations with a fixed context window, enabling constant-speed generation of arbitrarily long videos. Our models achieve state-of-the-art results in motion following and video quality while being two orders of magnitude faster, uniquely enabling infinite-length streaming. With MotionStream, users can paint trajectories, control cameras, or transfer motion, and see results unfold in real-time, delivering a truly interactive experience.