AsyncFlow: Un Framework RL Asincrono per Streaming per un Efficiente Post-Addestramento di LLM

Abstract

L'apprendimento per rinforzo (Reinforcement Learning, RL) è diventato una tecnologia fondamentale nella fase di post-addestramento dei grandi modelli linguistici (Large Language Models, LLMs). I tradizionali framework RL con task collocati soffrono di significativi colli di bottiglia nella scalabilità, mentre i framework RL con task separati affrontano sfide legate a flussi di dati complessi e al conseguente inattività delle risorse e squilibrio del carico di lavoro. Inoltre, la maggior parte dei framework esistenti è strettamente accoppiata ai motori di addestramento o inferenza dei LLM, rendendo difficile il supporto per motori progettati su misura. Per affrontare queste sfide, proponiamo AsyncFlow, un framework RL asincrono in streaming per un post-addestramento efficiente. Nello specifico, introduciamo un modulo distribuito di archiviazione e trasferimento dati che fornisce una gestione unificata dei dati e una capacità di schedulazione granulare in modalità completamente in streaming. Questa architettura facilita intrinsecamente la sovrapposizione automatica delle pipeline tra i task RL e il bilanciamento dinamico del carico. Inoltre, proponiamo un motore di flusso di lavoro asincrono basato su produttore-consumatore, progettato per minimizzare l'inattività computazionale differendo strategicamente il processo di aggiornamento dei parametri entro soglie di obsolescenza. Infine, la capacità principale di AsyncFlow è architettonicamente disaccoppiata dai motori di addestramento e inferenza sottostanti e incapsulata da interfacce utente orientate ai servizi, offrendo un'esperienza utente modulare e personalizzabile. Esperimenti estensivi dimostrano un miglioramento medio della produttività di 1,59 volte rispetto ai benchmark di stato dell'arte. L'architettura presentata in questo lavoro fornisce spunti operativi per la progettazione di sistemi di addestramento RL di prossima generazione.

English

Reinforcement learning (RL) has become a pivotal technology in the post-training phase of large language models (LLMs). Traditional task-colocated RL frameworks suffer from significant scalability bottlenecks, while task-separated RL frameworks face challenges in complex dataflows and the corresponding resource idling and workload imbalance. Moreover, most existing frameworks are tightly coupled with LLM training or inference engines, making it difficult to support custom-designed engines. To address these challenges, we propose AsyncFlow, an asynchronous streaming RL framework for efficient post-training. Specifically, we introduce a distributed data storage and transfer module that provides a unified data management and fine-grained scheduling capability in a fully streamed manner. This architecture inherently facilitates automated pipeline overlapping among RL tasks and dynamic load balancing. Moreover, we propose a producer-consumer-based asynchronous workflow engineered to minimize computational idleness by strategically deferring parameter update process within staleness thresholds. Finally, the core capability of AsynFlow is architecturally decoupled from underlying training and inference engines and encapsulated by service-oriented user interfaces, offering a modular and customizable user experience. Extensive experiments demonstrate an average of 1.59 throughput improvement compared with state-of-the-art baseline. The presented architecture in this work provides actionable insights for next-generation RL training system designs.

AsyncFlow: Un Framework RL Asincrono per Streaming per un Efficiente Post-Addestramento di LLM

AsyncFlow: An Asynchronous Streaming RL Framework for Efficient LLM Post-Training

Abstract

Support