Génération de vidéo en continu avec contrôle de force en continu

Résumé

Nous présentons StreamForce, un framework de génération vidéo en continu permettant un contrôle physiquement fondé via des entrées de force continues. Contrairement aux modèles vidéo antérieurs qui entraînent des modèles séparés pour différents types de force, supposent des forces fixes ou reposent sur un traitement non causal, StreamForce est un modèle causal et unifié qui répond instantanément et de manière cohérente à des forces locales et globales variant dans le temps. Pour y parvenir, nous concevons une représentation unifiée des forces comme signal de contrôle et développons un pipeline de distillation pour la génération vidéo contrôlable par forces. Notre modèle combine l'efficacité autorégressive avec la réactivité aux forces, maintenant une stabilité photométrique et un réalisme dynamique. StreamForce atteint jusqu'à 16,6 FPS sur un seul GPU, obtenant des performances de pointe tant en matière d'adhérence aux forces que de réalisme du mouvement. Site web du projet : https://neu-vi.github.io/StreamForce/

English

We introduce StreamForce, a streaming video generation framework that enables physically grounded control through continuous force inputs. Unlike prior video models that train separate models for different force types, assume fixed forces, or rely on non-causal processing, StreamForce is a causal and unified model that responds instantly and coherently to both local and global, time-varying forces. To achieve this, we design a unified force representation as a control signal and develop a distillation pipeline for force-controllable video generation. Our model combines autoregressive efficiency with force responsiveness, sustaining stable photometric and dynamic realism. StreamForce runs at up to 16.6 FPS on a single GPU, achieving state-of-the-art performance in both force adherence and motion realism. Project website: https://neu-vi.github.io/StreamForce/