AsyncFlow: Um Framework de RL de Streaming Assíncrono para Pós-Treinamento Eficiente de LLMs

AsyncFlow: An Asynchronous Streaming RL Framework for Efficient LLM Post-Training

July 2, 2025

Autores: Zhenyu Han, Ansheng You, Haibo Wang, Kui Luo, Guang Yang, Wenqi Shi, Menglong Chen, Sicheng Zhang, Zeshun Lan, Chunshi Deng, Huazhong Ji, Wenjie Liu, Yu Huang, Yixiang Zhang, Chenyi Pan, Jing Wang, Xin Huang, Chunsheng Li, Jianping Wu

cs.AI

Resumo

O aprendizado por reforço (RL, do inglês Reinforcement Learning) tornou-se uma tecnologia fundamental na fase de pós-treinamento de modelos de linguagem de grande escala (LLMs, do inglês Large Language Models). Estruturas tradicionais de RL com tarefas colocalizadas enfrentam gargalos significativos de escalabilidade, enquanto estruturas de RL com tarefas separadas lidam com desafios em fluxos de dados complexos e a correspondente ociosidade de recursos e desequilíbrio de carga de trabalho. Além disso, a maioria das estruturas existentes está fortemente acoplada a mecanismos de treinamento ou inferência de LLMs, dificultando o suporte a mecanismos personalizados. Para abordar esses desafios, propomos o AsyncFlow, uma estrutura de RL de streaming assíncrono para pós-treinamento eficiente. Especificamente, introduzimos um módulo de armazenamento e transferência de dados distribuídos que oferece uma gestão unificada de dados e capacidade de agendamento refinada de maneira totalmente transmitida. Essa arquitetura facilita naturalmente a sobreposição automatizada de pipelines entre tarefas de RL e o balanceamento dinâmico de carga. Além disso, propomos um mecanismo de fluxo de trabalho assíncrono baseado em produtor-consumidor, projetado para minimizar a ociosidade computacional ao adiar estrategicamente o processo de atualização de parâmetros dentro de limites de defasagem. Por fim, a capacidade central do AsyncFlow é arquitetonicamente desacoplada dos mecanismos subjacentes de treinamento e inferência e encapsulada por interfaces de usuário orientadas a serviços, oferecendo uma experiência modular e personalizável. Experimentos extensivos demonstram uma melhoria média de 1,59 vezes na taxa de transferência em comparação com a linha de base mais avançada. A arquitetura apresentada neste trabalho fornece insights acionáveis para o design de sistemas de treinamento de RL de próxima geração.

English

Reinforcement learning (RL) has become a pivotal technology in the post-training phase of large language models (LLMs). Traditional task-colocated RL frameworks suffer from significant scalability bottlenecks, while task-separated RL frameworks face challenges in complex dataflows and the corresponding resource idling and workload imbalance. Moreover, most existing frameworks are tightly coupled with LLM training or inference engines, making it difficult to support custom-designed engines. To address these challenges, we propose AsyncFlow, an asynchronous streaming RL framework for efficient post-training. Specifically, we introduce a distributed data storage and transfer module that provides a unified data management and fine-grained scheduling capability in a fully streamed manner. This architecture inherently facilitates automated pipeline overlapping among RL tasks and dynamic load balancing. Moreover, we propose a producer-consumer-based asynchronous workflow engineered to minimize computational idleness by strategically deferring parameter update process within staleness thresholds. Finally, the core capability of AsynFlow is architecturally decoupled from underlying training and inference engines and encapsulated by service-oriented user interfaces, offering a modular and customizable user experience. Extensive experiments demonstrate an average of 1.59 throughput improvement compared with state-of-the-art baseline. The presented architecture in this work provides actionable insights for next-generation RL training system designs.