AsyncFlow : Un cadre de renforcement d'apprentissage asynchrone en flux pour un post-entraînement efficace des grands modèles de langage

Résumé

L'apprentissage par renforcement (RL) est devenu une technologie clé dans la phase de post-entraînement des grands modèles de langage (LLM). Les frameworks traditionnels de RL colocalisés avec les tâches souffrent de goulots d'étranglement importants en termes de scalabilité, tandis que les frameworks de RL séparés des tâches rencontrent des difficultés liées aux flux de données complexes, ainsi qu'à l'inactivité des ressources et au déséquilibre des charges de travail. De plus, la plupart des frameworks existants sont étroitement couplés aux moteurs d'entraînement ou d'inférence des LLM, ce qui rend difficile la prise en charge de moteurs personnalisés. Pour relever ces défis, nous proposons AsyncFlow, un framework de RL asynchrone et en flux continu pour un post-entraînement efficace. Plus précisément, nous introduisons un module de stockage et de transfert de données distribué qui offre une gestion unifiée des données et une capacité de planification fine, le tout de manière entièrement streamée. Cette architecture facilite intrinsèquement le chevauchement automatisé des pipelines entre les tâches de RL et l'équilibrage dynamique des charges. Par ailleurs, nous proposons un workflow asynchrone basé sur le modèle producteur-consommateur, conçu pour minimiser l'inactivité computationnelle en retardant stratégiquement le processus de mise à jour des paramètres dans les limites de péremption. Enfin, la capacité centrale d'AsyncFlow est architecturalement découplée des moteurs d'entraînement et d'inférence sous-jacents et encapsulée par des interfaces utilisateur orientées service, offrant ainsi une expérience utilisateur modulaire et personnalisable. Des expériences approfondies démontrent une amélioration moyenne de 1,59 du débit par rapport à l'état de l'art. L'architecture présentée dans ce travail fournit des perspectives exploitables pour la conception des systèmes de formation RL de nouvelle génération.

English

Reinforcement learning (RL) has become a pivotal technology in the post-training phase of large language models (LLMs). Traditional task-colocated RL frameworks suffer from significant scalability bottlenecks, while task-separated RL frameworks face challenges in complex dataflows and the corresponding resource idling and workload imbalance. Moreover, most existing frameworks are tightly coupled with LLM training or inference engines, making it difficult to support custom-designed engines. To address these challenges, we propose AsyncFlow, an asynchronous streaming RL framework for efficient post-training. Specifically, we introduce a distributed data storage and transfer module that provides a unified data management and fine-grained scheduling capability in a fully streamed manner. This architecture inherently facilitates automated pipeline overlapping among RL tasks and dynamic load balancing. Moreover, we propose a producer-consumer-based asynchronous workflow engineered to minimize computational idleness by strategically deferring parameter update process within staleness thresholds. Finally, the core capability of AsynFlow is architecturally decoupled from underlying training and inference engines and encapsulated by service-oriented user interfaces, offering a modular and customizable user experience. Extensive experiments demonstrate an average of 1.59 throughput improvement compared with state-of-the-art baseline. The presented architecture in this work provides actionable insights for next-generation RL training system designs.

AsyncFlow : Un cadre de renforcement d'apprentissage asynchrone en flux pour un post-entraînement efficace des grands modèles de langage

AsyncFlow: An Asynchronous Streaming RL Framework for Efficient LLM Post-Training

Résumé

Support