Генерация потокового видео с управлением силой потока

Аннотация

Мы представляем StreamForce — фреймворк для потоковой генерации видео, обеспечивающий физически обоснованное управление через непрерывные силовые воздействия. В отличие от предыдущих видеомоделей, которые обучали отдельные модели для разных типов сил, предполагали фиксированные силы или полагались на некаузальную обработку, StreamForce представляет собой каузальную и унифицированную модель, мгновенно и согласованно реагирующую как на локальные, так и на глобальные, изменяющиеся во времени силы. Для этого мы разработали унифицированное представление сил в качестве управляющего сигнала и создали конвейер дистилляции для генерации видео, управляемой силами. Наша модель сочетает эффективность авторегрессии с откликом на силы, обеспечивая стабильный фотометрический и динамический реализм. StreamForce работает со скоростью до 16,6 кадров в секунду на одном GPU, достигая передовых показателей как по соблюдению силовых воздействий, так и по реалистичности движений. Веб-сайт проекта: https://neu-vi.github.io/StreamForce/

English

We introduce StreamForce, a streaming video generation framework that enables physically grounded control through continuous force inputs. Unlike prior video models that train separate models for different force types, assume fixed forces, or rely on non-causal processing, StreamForce is a causal and unified model that responds instantly and coherently to both local and global, time-varying forces. To achieve this, we design a unified force representation as a control signal and develop a distillation pipeline for force-controllable video generation. Our model combines autoregressive efficiency with force responsiveness, sustaining stable photometric and dynamic realism. StreamForce runs at up to 16.6 FPS on a single GPU, achieving state-of-the-art performance in both force adherence and motion realism. Project website: https://neu-vi.github.io/StreamForce/