AsyncFlow: Ein asynchrones Streaming-RL-Framework für effizientes Post-Training von LLMs

AsyncFlow: An Asynchronous Streaming RL Framework for Efficient LLM Post-Training

July 2, 2025

Autoren: Zhenyu Han, Ansheng You, Haibo Wang, Kui Luo, Guang Yang, Wenqi Shi, Menglong Chen, Sicheng Zhang, Zeshun Lan, Chunshi Deng, Huazhong Ji, Wenjie Liu, Yu Huang, Yixiang Zhang, Chenyi Pan, Jing Wang, Xin Huang, Chunsheng Li, Jianping Wu

cs.AI

Zusammenfassung

Reinforcement Learning (RL) hat sich zu einer zentralen Technologie in der Post-Training-Phase von großen Sprachmodellen (LLMs) entwickelt. Traditionelle, aufgabenbezogene RL-Frameworks leiden unter erheblichen Skalierbarkeitsengpässen, während aufgabengetrennte RL-Frameworks mit komplexen Datenflüssen sowie entsprechenden Ressourcenleerlauf- und Arbeitslastungleichgewichten konfrontiert sind. Darüber hinaus sind die meisten bestehenden Frameworks eng mit den Trainings- oder Inferenz-Engines von LLMs verknüpft, was die Unterstützung von benutzerdefinierten Engines erschwert. Um diese Herausforderungen zu bewältigen, schlagen wir AsyncFlow vor, ein asynchrones Streaming-RL-Framework für effizientes Post-Training. Konkret führen wir ein Modul für verteilte Datenspeicherung und -übertragung ein, das eine einheitliche Datenverwaltung und fein abgestimmte Planungsfähigkeit in vollständig gestreamter Form bietet. Diese Architektur ermöglicht automatisiertes Pipeline-Overlapping zwischen RL-Aufgaben und dynamischen Lastausgleich. Zudem schlagen wir einen asynchronen Workflow auf Basis des Producer-Consumer-Prinzips vor, der darauf abzielt, Rechenleerlauf durch strategisches Verzögern des Parameteraktualisierungsprozesses innerhalb von Staleness-Schwellenwerten zu minimieren. Schließlich ist die Kernfähigkeit von AsyncFlow architektonisch von den zugrunde liegenden Trainings- und Inferenz-Engines entkoppelt und durch serviceorientierte Benutzeroberflächen gekapselt, was ein modulares und anpassbares Benutzererlebnis bietet. Umfangreiche Experimente zeigen eine durchschnittliche Verbesserung des Durchsatzes um das 1,59-fache im Vergleich zu modernen Baseline-Systemen. Die in dieser Arbeit vorgestellte Architektur bietet wertvolle Erkenntnisse für die Gestaltung von RL-Trainingssystemen der nächsten Generation.

English

Reinforcement learning (RL) has become a pivotal technology in the post-training phase of large language models (LLMs). Traditional task-colocated RL frameworks suffer from significant scalability bottlenecks, while task-separated RL frameworks face challenges in complex dataflows and the corresponding resource idling and workload imbalance. Moreover, most existing frameworks are tightly coupled with LLM training or inference engines, making it difficult to support custom-designed engines. To address these challenges, we propose AsyncFlow, an asynchronous streaming RL framework for efficient post-training. Specifically, we introduce a distributed data storage and transfer module that provides a unified data management and fine-grained scheduling capability in a fully streamed manner. This architecture inherently facilitates automated pipeline overlapping among RL tasks and dynamic load balancing. Moreover, we propose a producer-consumer-based asynchronous workflow engineered to minimize computational idleness by strategically deferring parameter update process within staleness thresholds. Finally, the core capability of AsynFlow is architecturally decoupled from underlying training and inference engines and encapsulated by service-oriented user interfaces, offering a modular and customizable user experience. Extensive experiments demonstrate an average of 1.59 throughput improvement compared with state-of-the-art baseline. The presented architecture in this work provides actionable insights for next-generation RL training system designs.