FlowAct-R1: Rumo à Geração Interativa de Vídeos Humanoides
FlowAct-R1: Towards Interactive Humanoid Video Generation
January 15, 2026
Autores: Lizhen Wang, Yongming Zhu, Zhipeng Ge, Youwei Zheng, Longhao Zhang, Tianshu Hu, Shiyang Qin, Mingshuang Luo, Jiaxu Zhang, Xin Chen, Yulong Wang, Zerong Zheng, Jianwen Jiang, Chao Liang, Weifeng Chen, Xing Wang, Yuan Zhang, Mingyuan Gao
cs.AI
Resumo
A geração interativa de vídeo de humanoides visa sintetizar agentes visuais realistas que possam interagir com humanos por meio de vídeo contínuo e responsivo. Apesar dos avanços recentes na síntese de vídeo, os métodos existentes frequentemente lidam com o compromisso entre síntese de alta fidelidade e requisitos de interação em tempo real. Neste artigo, propomos o FlowAct-R1, uma estrutura especificamente projetada para geração de vídeo de humanoides interativa em tempo real. Construída sobre uma arquitetura MMDiT, o FlowAct-R1 permite a síntese em fluxo de vídeo com durações arbitrárias, mantendo uma baixa latência de resposta. Introduzimos uma estratégia de forçamento de difusão por blocos, complementada por uma nova variante de auto-forçamento, para aliviar o acúmulo de erros e garantir consistência temporal de longo prazo durante a interação contínua. Ao alavancar uma destilação eficiente e otimizações em nível de sistema, nossa estrutura atinge estáveis 25fps em resolução 480p com um tempo para o primeiro quadro (TTFF) de apenas cerca de 1,5 segundos. O método proposto oferece controle holístico e refinado de corpo inteiro, permitindo que o agente transite naturalmente entre diversos estados comportamentais em cenários interativos. Resultados experimentais demonstram que o FlowAct-R1 alcança uma vivacidade comportamental excepcional e realismo perceptual, mantendo uma generalização robusta entre diversos estilos de personagem.
English
Interactive humanoid video generation aims to synthesize lifelike visual agents that can engage with humans through continuous and responsive video. Despite recent advances in video synthesis, existing methods often grapple with the trade-off between high-fidelity synthesis and real-time interaction requirements. In this paper, we propose FlowAct-R1, a framework specifically designed for real-time interactive humanoid video generation. Built upon a MMDiT architecture, FlowAct-R1 enables the streaming synthesis of video with arbitrary durations while maintaining low-latency responsiveness. We introduce a chunkwise diffusion forcing strategy, complemented by a novel self-forcing variant, to alleviate error accumulation and ensure long-term temporal consistency during continuous interaction. By leveraging efficient distillation and system-level optimizations, our framework achieves a stable 25fps at 480p resolution with a time-to-first-frame (TTFF) of only around 1.5 seconds. The proposed method provides holistic and fine-grained full-body control, enabling the agent to transition naturally between diverse behavioral states in interactive scenarios. Experimental results demonstrate that FlowAct-R1 achieves exceptional behavioral vividness and perceptual realism, while maintaining robust generalization across diverse character styles.