AsyncFlow: Een Asynchroon Streaming RL-Framework voor Efficiënte Post-Training van LLM's

AsyncFlow: An Asynchronous Streaming RL Framework for Efficient LLM Post-Training

July 2, 2025

Auteurs: Zhenyu Han, Ansheng You, Haibo Wang, Kui Luo, Guang Yang, Wenqi Shi, Menglong Chen, Sicheng Zhang, Zeshun Lan, Chunshi Deng, Huazhong Ji, Wenjie Liu, Yu Huang, Yixiang Zhang, Chenyi Pan, Jing Wang, Xin Huang, Chunsheng Li, Jianping Wu

cs.AI

Samenvatting

Reinforcement learning (RL) is uitgegroeid tot een cruciale technologie in de post-trainingsfase van grote taalmmodellen (LLMs). Traditionele taak-geco-lokaliseerde RL-frameworks kampen met aanzienlijke schaalbaarheidsproblemen, terwijl taak-gescheiden RL-frameworks uitdagingen ondervinden bij complexe dataflows en de bijbehorende resource-inactiviteit en werkbelastingsonevenwichtigheden. Bovendien zijn de meeste bestaande frameworks nauw verbonden met LLM-trainings- of inferentie-engines, wat het ondersteunen van aangepaste engines bemoeilijkt. Om deze uitdagingen aan te pakken, stellen we AsyncFlow voor, een asynchroon streaming RL-framework voor efficiënte post-training. Specifiek introduceren we een gedistribueerde dataopslag- en overdrachtsmodule die een uniforme data management en fijnmazige planningscapaciteit biedt op een volledig gestroomde manier. Deze architectuur vergemakkelijkt inherent geautomatiseerde pipeline-overlapping tussen RL-taken en dynamische belastingsbalancering. Daarnaast stellen we een op producent-consument gebaseerde asynchrone workflow voor, ontworpen om computationele inactiviteit te minimaliseren door strategisch parameterupdateprocessen uit te stellen binnen verouderingsdrempels. Ten slotte is de kerncapaciteit van AsyncFlow architecturaal ontkoppeld van onderliggende trainings- en inferentie-engines en ingekapseld door servicegerichte gebruikersinterfaces, wat een modulaire en aanpasbare gebruikerservaring biedt. Uitgebreide experimenten tonen een gemiddelde doorvoerverbetering van 1,59 vergeleken met state-of-the-art baseline. De gepresenteerde architectuur in dit werk biedt praktische inzichten voor het ontwerp van next-generation RL-trainingssystemen.

English

Reinforcement learning (RL) has become a pivotal technology in the post-training phase of large language models (LLMs). Traditional task-colocated RL frameworks suffer from significant scalability bottlenecks, while task-separated RL frameworks face challenges in complex dataflows and the corresponding resource idling and workload imbalance. Moreover, most existing frameworks are tightly coupled with LLM training or inference engines, making it difficult to support custom-designed engines. To address these challenges, we propose AsyncFlow, an asynchronous streaming RL framework for efficient post-training. Specifically, we introduce a distributed data storage and transfer module that provides a unified data management and fine-grained scheduling capability in a fully streamed manner. This architecture inherently facilitates automated pipeline overlapping among RL tasks and dynamic load balancing. Moreover, we propose a producer-consumer-based asynchronous workflow engineered to minimize computational idleness by strategically deferring parameter update process within staleness thresholds. Finally, the core capability of AsynFlow is architecturally decoupled from underlying training and inference engines and encapsulated by service-oriented user interfaces, offering a modular and customizable user experience. Extensive experiments demonstrate an average of 1.59 throughput improvement compared with state-of-the-art baseline. The presented architecture in this work provides actionable insights for next-generation RL training system designs.