FlowAct-R1: Auf dem Weg zur interaktiven humanoiden Videogenerierung
FlowAct-R1: Towards Interactive Humanoid Video Generation
January 15, 2026
papers.authors: Lizhen Wang, Yongming Zhu, Zhipeng Ge, Youwei Zheng, Longhao Zhang, Tianshu Hu, Shiyang Qin, Mingshuang Luo, Jiaxu Zhang, Xin Chen, Yulong Wang, Zerong Zheng, Jianwen Jiang, Chao Liang, Weifeng Chen, Xing Wang, Yuan Zhang, Mingyuan Gao
cs.AI
papers.abstract
Die interaktive humanoide Videogenerierung zielt darauf ab, lebensechte visuelle Agenten zu synthetisieren, die durch kontinuierliches und responsives Video mit Menschen interagieren können. Trotz jüngster Fortschritte in der Videosynthese kämpfen bestehende Methoden oft mit dem Zielkonflikt zwischen hochwertiger Synthese und den Anforderungen an Echtzeitinteraktion. In diesem Beitrag stellen wir FlowAct-R1 vor, ein Framework, das speziell für die echtzeitfähige interaktive humanoide Videogenerierung entwickelt wurde. Aufbauend auf einer MMDiT-Architektur ermöglicht FlowAct-R1 die Streaming-Synthese von Videos beliebiger Länge bei gleichzeitiger Beibehaltung niedriger Latenzzeiten. Wir führen eine chunkweise Diffusions-Forcing-Strategie ein, ergänzt durch eine neuartige Self-Forcing-Variante, um Fehlerakkumulation zu reduzieren und langfristige zeitliche Konsistenz während kontinuierlicher Interaktionen zu gewährleisten. Durch effiziente Distillation und systemweite Optimierungen erreicht unser Framework eine stabile Bildrate von 25 fps bei 480p-Auflösung mit einer Time-to-First-Frame (TTFF) von nur etwa 1,5 Sekunden. Die vorgeschlagene Methode bietet eine ganzheitliche und feingranulare Ganzkörpersteuerung, die es dem Agenten ermöglicht, in interaktiven Szenarien natürlich zwischen verschiedenen Verhaltenszuständen zu wechseln. Experimentelle Ergebnisse zeigen, dass FlowAct-R1 eine außergewöhnliche Verhaltensvitalität und perzeptuelle Realitätsnähe erreicht und dabei eine robuste Generalisierung über verschiedene Charakterstile hinweg beibehält.
English
Interactive humanoid video generation aims to synthesize lifelike visual agents that can engage with humans through continuous and responsive video. Despite recent advances in video synthesis, existing methods often grapple with the trade-off between high-fidelity synthesis and real-time interaction requirements. In this paper, we propose FlowAct-R1, a framework specifically designed for real-time interactive humanoid video generation. Built upon a MMDiT architecture, FlowAct-R1 enables the streaming synthesis of video with arbitrary durations while maintaining low-latency responsiveness. We introduce a chunkwise diffusion forcing strategy, complemented by a novel self-forcing variant, to alleviate error accumulation and ensure long-term temporal consistency during continuous interaction. By leveraging efficient distillation and system-level optimizations, our framework achieves a stable 25fps at 480p resolution with a time-to-first-frame (TTFF) of only around 1.5 seconds. The proposed method provides holistic and fine-grained full-body control, enabling the agent to transition naturally between diverse behavioral states in interactive scenarios. Experimental results demonstrate that FlowAct-R1 achieves exceptional behavioral vividness and perceptual realism, while maintaining robust generalization across diverse character styles.