FlowAct-R1: Op weg naar interactieve humanoïde videogeneratie
FlowAct-R1: Towards Interactive Humanoid Video Generation
January 15, 2026
Auteurs: Lizhen Wang, Yongming Zhu, Zhipeng Ge, Youwei Zheng, Longhao Zhang, Tianshu Hu, Shiyang Qin, Mingshuang Luo, Jiaxu Zhang, Xin Chen, Yulong Wang, Zerong Zheng, Jianwen Jiang, Chao Liang, Weifeng Chen, Xing Wang, Yuan Zhang, Mingyuan Gao
cs.AI
Samenvatting
Interactieve humanoïde videogeneratie heeft als doel levensechte visuele agenten te synthetiseren die via continue en responsieve video met mensen kunnen communiceren. Ondanks recente vooruitgang in videosynthese worstelen bestaande methoden vaak met de afweging tussen hoogwaardige synthese en de eisen voor realtime interactie. In dit artikel stellen we FlowAct-R1 voor, een raamwerk dat specifiek is ontworpen voor realtime interactieve humanoïde videogeneratie. Gebaseerd op een MMDiT-architectuur maakt FlowAct-R1 streamingsynthese van video met willekeurige duur mogelijk, terwijl een lage latentie-responsiviteit behouden blijft. We introduceren een chunkwise diffusie forcing-strategie, aangevuld met een nieuwe self-forcing-variant, om foutaccumulatie te verminderen en langdurige temporele consistentie tijdens continue interactie te garanderen. Door efficiënte distillatie en systeemniveau-optimalisaties te benutten, bereikt ons raamwerk een stabiele 25 fps bij 480p-resolutie met een time-to-first-frame (TTFF) van slechts ongeveer 1,5 seconde. De voorgestelde methode biedt holistische en fijnmazige volledige lichaamscontrole, waardoor de agent natuurlijk kan overgaan tussen diverse gedragstoestanden in interactieve scenario's. Experimentele resultaten tonen aan dat FlowAct-R1 uitzonderlijke gedragslevendigheid en perceptueel realisme bereikt, terwijl robuuste generalisatie over diverse karakterstijlen behouden blijft.
English
Interactive humanoid video generation aims to synthesize lifelike visual agents that can engage with humans through continuous and responsive video. Despite recent advances in video synthesis, existing methods often grapple with the trade-off between high-fidelity synthesis and real-time interaction requirements. In this paper, we propose FlowAct-R1, a framework specifically designed for real-time interactive humanoid video generation. Built upon a MMDiT architecture, FlowAct-R1 enables the streaming synthesis of video with arbitrary durations while maintaining low-latency responsiveness. We introduce a chunkwise diffusion forcing strategy, complemented by a novel self-forcing variant, to alleviate error accumulation and ensure long-term temporal consistency during continuous interaction. By leveraging efficient distillation and system-level optimizations, our framework achieves a stable 25fps at 480p resolution with a time-to-first-frame (TTFF) of only around 1.5 seconds. The proposed method provides holistic and fine-grained full-body control, enabling the agent to transition naturally between diverse behavioral states in interactive scenarios. Experimental results demonstrate that FlowAct-R1 achieves exceptional behavioral vividness and perceptual realism, while maintaining robust generalization across diverse character styles.