FlowAct-R1: в сторону интерактивной генерации видео с гуманоидными персонажами

FlowAct-R1: Towards Interactive Humanoid Video Generation

January 15, 2026

Авторы: Lizhen Wang, Yongming Zhu, Zhipeng Ge, Youwei Zheng, Longhao Zhang, Tianshu Hu, Shiyang Qin, Mingshuang Luo, Jiaxu Zhang, Xin Chen, Yulong Wang, Zerong Zheng, Jianwen Jiang, Chao Liang, Weifeng Chen, Xing Wang, Yuan Zhang, Mingyuan Gao

cs.AI

Аннотация

Генерация интерактивных гуманоидных видео направлена на синтез реалистичных визуальных агентов, способных взаимодействовать с человеком посредством непрерывного и отзывчивого видеопотока. Несмотря на recentние достижения в синтезе видео, существующие методы часто сталкиваются с компромиссом между синтезом высокого качества и требованиями к интерактивности в реальном времени. В данной статье мы предлагаем FlowAct-R1 — фреймворк, специально разработанный для генерации интерактивных гуманоидных видео в реальном времени. Построенный на архитектуре MMDiT, FlowAct-R1 позволяет осуществлять потоковый синтез видео произвольной длительности при сохранении низкой задержки отклика. Мы представляем стратегию chunkwise diffusion forcing, дополненную новой вариацией self-forcing, для снижения накопления ошибок и обеспечения долгосрочной временной согласованности в процессе непрерывного взаимодействия. Благодаря эффективной дистилляции и системным оптимизациям наш фреймворк достигает стабильных 25 кадров/с при разрешении 480p с временем до первого кадра (TTFF) всего около 1,5 секунд. Предложенный метод обеспечивает целостный и детализированный контроль над телом, позволяя агенту естественно переходить между различными поведенческими состояниями в интерактивных сценариях. Результаты экспериментов демонстрируют, что FlowAct-R1 достигает исключительной поведенческой выразительности и перцептивной реалистичности, сохраняя при этом robustную обобщающую способность для различных стилей персонажей.

English

Interactive humanoid video generation aims to synthesize lifelike visual agents that can engage with humans through continuous and responsive video. Despite recent advances in video synthesis, existing methods often grapple with the trade-off between high-fidelity synthesis and real-time interaction requirements. In this paper, we propose FlowAct-R1, a framework specifically designed for real-time interactive humanoid video generation. Built upon a MMDiT architecture, FlowAct-R1 enables the streaming synthesis of video with arbitrary durations while maintaining low-latency responsiveness. We introduce a chunkwise diffusion forcing strategy, complemented by a novel self-forcing variant, to alleviate error accumulation and ensure long-term temporal consistency during continuous interaction. By leveraging efficient distillation and system-level optimizations, our framework achieves a stable 25fps at 480p resolution with a time-to-first-frame (TTFF) of only around 1.5 seconds. The proposed method provides holistic and fine-grained full-body control, enabling the agent to transition naturally between diverse behavioral states in interactive scenarios. Experimental results demonstrate that FlowAct-R1 achieves exceptional behavioral vividness and perceptual realism, while maintaining robust generalization across diverse character styles.