ストリーミング力制御を用いたストリーミング動画生成

要旨

我々は、連続的な力の入力によって物理的に基づいた制御を可能にするストリーミング動画生成フレームワークStreamForceを紹介する。異なる力のタイプごとに個別のモデルを訓練したり、固定された力を仮定したり、非因果的な処理に依存する従来の動画モデルとは異なり、StreamForceは因果的で統一されたモデルであり、局所的および大域的な時間変動する力に対して即座にかつ一貫して応答する。これを達成するために、我々は制御信号として統一的な力表現を設計し、力制御可能な動画生成のための蒸留パイプラインを開発する。我々のモデルは自己回帰的な効率性と力応答性を組み合わせ、安定した測光的および動的なリアリズムを維持する。StreamForceは単一GPUで最大16.6 FPSで動作し、力の追従性と動きのリアリズムの両方において最先端の性能を達成する。プロジェクトウェブサイト: https://neu-vi.github.io/StreamForce/

English

We introduce StreamForce, a streaming video generation framework that enables physically grounded control through continuous force inputs. Unlike prior video models that train separate models for different force types, assume fixed forces, or rely on non-causal processing, StreamForce is a causal and unified model that responds instantly and coherently to both local and global, time-varying forces. To achieve this, we design a unified force representation as a control signal and develop a distillation pipeline for force-controllable video generation. Our model combines autoregressive efficiency with force responsiveness, sustaining stable photometric and dynamic realism. StreamForce runs at up to 16.6 FPS on a single GPU, achieving state-of-the-art performance in both force adherence and motion realism. Project website: https://neu-vi.github.io/StreamForce/