Streaming videogeneratie met streaming krachtcontrole

Samenvatting

Wij introduceren StreamForce, een raamwerk voor streaming videogeneratie dat fysisch gefundeerde controle mogelijk maakt via continue krachtinvoeren. In tegenstelling tot eerdere videomodellen die aparte modellen trainen voor verschillende krachttypen, uitgaan van vaste krachten of vertrouwen op niet-causale verwerking, is StreamForce een causaal en uniform model dat onmiddellijk en coherent reageert op zowel lokale als globale, tijdsvariërende krachten. Om dit te bereiken ontwerpen we een uniforme krachtrepresentatie als controlesignaal en ontwikkelen we een distillatiepijplijn voor krachtstuurbare videogeneratie. Ons model combineert autoregressieve efficiëntie met krachtresponsiviteit, en handhaaft stabiel fotometrisch en dynamisch realisme. StreamForce draait tot 16,6 FPS op een enkele GPU en behaalt state-of-the-art prestaties op zowel krachtnaleving als bewegingsrealisme. Projectwebsite: https://neu-vi.github.io/StreamForce/

English

We introduce StreamForce, a streaming video generation framework that enables physically grounded control through continuous force inputs. Unlike prior video models that train separate models for different force types, assume fixed forces, or rely on non-causal processing, StreamForce is a causal and unified model that responds instantly and coherently to both local and global, time-varying forces. To achieve this, we design a unified force representation as a control signal and develop a distillation pipeline for force-controllable video generation. Our model combines autoregressive efficiency with force responsiveness, sustaining stable photometric and dynamic realism. StreamForce runs at up to 16.6 FPS on a single GPU, achieving state-of-the-art performance in both force adherence and motion realism. Project website: https://neu-vi.github.io/StreamForce/