Generación de video en streaming con control de fuerza en streaming

Resumen

Presentamos StreamForce, un marco de generación de video en streaming que permite un control físicamente fundamentado mediante entradas continuas de fuerza. A diferencia de modelos de video anteriores que entrenan modelos separados para diferentes tipos de fuerza, asumen fuerzas fijas o dependen de procesamiento no causal, StreamForce es un modelo causal y unificado que responde de manera instantánea y coherente tanto a fuerzas locales como globales que varían en el tiempo. Para lograrlo, diseñamos una representación unificada de fuerza como señal de control y desarrollamos un flujo de destilación para la generación de video controlable por fuerzas. Nuestro modelo combina la eficiencia autorregresiva con la capacidad de respuesta a las fuerzas, manteniendo un realismo fotométrico y dinámico estable. StreamForce alcanza hasta 16.6 FPS en una sola GPU, logrando un rendimiento de vanguardia tanto en la adherencia a las fuerzas como en el realismo del movimiento. Sitio web del proyecto: https://neu-vi.github.io/StreamForce/

English

We introduce StreamForce, a streaming video generation framework that enables physically grounded control through continuous force inputs. Unlike prior video models that train separate models for different force types, assume fixed forces, or rely on non-causal processing, StreamForce is a causal and unified model that responds instantly and coherently to both local and global, time-varying forces. To achieve this, we design a unified force representation as a control signal and develop a distillation pipeline for force-controllable video generation. Our model combines autoregressive efficiency with force responsiveness, sustaining stable photometric and dynamic realism. StreamForce runs at up to 16.6 FPS on a single GPU, achieving state-of-the-art performance in both force adherence and motion realism. Project website: https://neu-vi.github.io/StreamForce/