Geração de Vídeo em Streaming com Controle de Força

Resumo

Apresentamos o StreamForce, um framework de geração de vídeo em streaming que possibilita controle fisicamente fundamentado por meio de entradas contínuas de força. Diferentemente de modelos de vídeo anteriores, que treinam modelos separados para diferentes tipos de força, assumem forças fixas ou dependem de processamento não causal, o StreamForce é um modelo causal e unificado que responde instantânea e coerentemente tanto a forças locais quanto globais, variantes no tempo. Para isso, projetamos uma representação unificada de força como sinal de controle e desenvolvemos um pipeline de destilação para geração de vídeo controlável por força. Nosso modelo combina eficiência autorregressiva com capacidade de resposta a forças, mantendo realismo fotométrico e dinâmico estável. O StreamForce opera a até 16,6 FPS em uma única GPU, alcançando desempenho estado-da-arte tanto em aderência à força quanto em realismo de movimento. Site do projeto: https://neu-vi.github.io/StreamForce/

English

We introduce StreamForce, a streaming video generation framework that enables physically grounded control through continuous force inputs. Unlike prior video models that train separate models for different force types, assume fixed forces, or rely on non-causal processing, StreamForce is a causal and unified model that responds instantly and coherently to both local and global, time-varying forces. To achieve this, we design a unified force representation as a control signal and develop a distillation pipeline for force-controllable video generation. Our model combines autoregressive efficiency with force responsiveness, sustaining stable photometric and dynamic realism. StreamForce runs at up to 16.6 FPS on a single GPU, achieving state-of-the-art performance in both force adherence and motion realism. Project website: https://neu-vi.github.io/StreamForce/