스트리밍 힘 제어를 통한 스트리밍 비디오 생성

초록

StreamForce는 연속적인 힘 입력을 통해 물리적 기반 제어가 가능한 스트리밍 비디오 생성 프레임워크를 소개합니다. 기존 비디오 모델이 힘 유형별로 별도의 모델을 학습시키거나, 고정된 힘을 가정하거나, 비인과적 처리에 의존하는 것과 달리, StreamForce는 인과적이고 통합된 모델로서 국소적 및 전역적 시간에 따라 변화하는 힘에 즉각적이고 일관되게 반응합니다. 이를 위해 통합된 힘 표현을 제어 신호로 설계하고, 힘 제어 가능한 비디오 생성을 위한 증류 파이프라인을 개발합니다. 본 모델은 자기회귀 효율성과 힘 반응성을 결합하여 안정적인 광도 및 동적 사실성을 유지합니다. StreamForce는 단일 GPU에서 최대 16.6 FPS로 실행되며, 힘 준수 및 움직임 사실성 모두에서 최첨단 성능을 달성합니다. 프로젝트 웹사이트: https://neu-vi.github.io/StreamForce/

English

We introduce StreamForce, a streaming video generation framework that enables physically grounded control through continuous force inputs. Unlike prior video models that train separate models for different force types, assume fixed forces, or rely on non-causal processing, StreamForce is a causal and unified model that responds instantly and coherently to both local and global, time-varying forces. To achieve this, we design a unified force representation as a control signal and develop a distillation pipeline for force-controllable video generation. Our model combines autoregressive efficiency with force responsiveness, sustaining stable photometric and dynamic realism. StreamForce runs at up to 16.6 FPS on a single GPU, achieving state-of-the-art performance in both force adherence and motion realism. Project website: https://neu-vi.github.io/StreamForce/