Streaming-Videogenerierung mit Streaming-Kraftsteuerung

Zusammenfassung

Wir stellen StreamForce vor, ein Framework zur Streaming-Videogenerierung, das eine physikalisch fundierte Steuerung durch kontinuierliche Krafteingaben ermöglicht. Im Gegensatz zu früheren Videomodellen, die separate Modelle für verschiedene Kraftarten trainieren, konstante Kräfte annehmen oder auf nicht-kausaler Verarbeitung beruhen, handelt es sich bei StreamForce um ein kausales und einheitliches Modell, das sowohl auf lokale als auch auf globale, zeitlich veränderliche Kräfte sofort und kohärent reagiert. Zu diesem Zweck entwerfen wir eine einheitliche Kraftdarstellung als Steuersignal und entwickeln eine Destillations-Pipeline für kraftgesteuerte Videogenerierung. Unser Modell vereint autoregressive Effizienz mit Kraftreaktionsfähigkeit und bewahrt stabile photometrische und dynamische Realitätsnähe. StreamForce erreicht bis zu 16,6 FPS auf einer einzelnen GPU und erzielt Spitzenleistungen sowohl hinsichtlich Krafttreue als auch Bewegungsrealismus. Projektwebseite: https://neu-vi.github.io/StreamForce/

English

We introduce StreamForce, a streaming video generation framework that enables physically grounded control through continuous force inputs. Unlike prior video models that train separate models for different force types, assume fixed forces, or rely on non-causal processing, StreamForce is a causal and unified model that responds instantly and coherently to both local and global, time-varying forces. To achieve this, we design a unified force representation as a control signal and develop a distillation pipeline for force-controllable video generation. Our model combines autoregressive efficiency with force responsiveness, sustaining stable photometric and dynamic realism. StreamForce runs at up to 16.6 FPS on a single GPU, achieving state-of-the-art performance in both force adherence and motion realism. Project website: https://neu-vi.github.io/StreamForce/