AsyncFlow: Асинхронный потоковый фреймворк для обучения с подкреплением, оптимизированный для пост-тренинга крупных языковых моделей

Аннотация

Обучение с подкреплением (RL) стало ключевой технологией на этапе пост-обучения крупных языковых моделей (LLM). Традиционные RL-фреймворки, интегрированные с задачами, сталкиваются с серьезными ограничениями масштабируемости, в то время как RL-фреймворки с разделением задач испытывают трудности с обработкой сложных потоков данных, что приводит к простою ресурсов и дисбалансу нагрузки. Кроме того, большинство существующих фреймворков тесно связаны с движками обучения или вывода LLM, что затрудняет поддержку пользовательских решений. Для решения этих проблем мы предлагаем AsyncFlow — асинхронный потоковый RL-фреймворк для эффективного пост-обучения. В частности, мы представляем модуль распределенного хранения и передачи данных, который обеспечивает унифицированное управление данными и детализированное планирование в полностью потоковом режиме. Эта архитектура естественным образом способствует автоматическому перекрытию конвейеров между RL-задачами и динамическому балансированию нагрузки. Кроме того, мы предлагаем асинхронный механизм работы на основе модели производитель-потребитель, который минимизирует простой вычислений за счет стратегического откладывания процесса обновления параметров в пределах допустимых задержек. Наконец, ключевые возможности AsyncFlow архитектурно отделены от базовых движков обучения и вывода и инкапсулированы через сервисно-ориентированные интерфейсы, обеспечивая модульный и настраиваемый пользовательский опыт. Эксперименты демонстрируют среднее увеличение пропускной способности в 1,59 раза по сравнению с современными базовыми решениями. Представленная архитектура предоставляет практические рекомендации для проектирования RL-систем следующего поколения.

English

Reinforcement learning (RL) has become a pivotal technology in the post-training phase of large language models (LLMs). Traditional task-colocated RL frameworks suffer from significant scalability bottlenecks, while task-separated RL frameworks face challenges in complex dataflows and the corresponding resource idling and workload imbalance. Moreover, most existing frameworks are tightly coupled with LLM training or inference engines, making it difficult to support custom-designed engines. To address these challenges, we propose AsyncFlow, an asynchronous streaming RL framework for efficient post-training. Specifically, we introduce a distributed data storage and transfer module that provides a unified data management and fine-grained scheduling capability in a fully streamed manner. This architecture inherently facilitates automated pipeline overlapping among RL tasks and dynamic load balancing. Moreover, we propose a producer-consumer-based asynchronous workflow engineered to minimize computational idleness by strategically deferring parameter update process within staleness thresholds. Finally, the core capability of AsynFlow is architecturally decoupled from underlying training and inference engines and encapsulated by service-oriented user interfaces, offering a modular and customizable user experience. Extensive experiments demonstrate an average of 1.59 throughput improvement compared with state-of-the-art baseline. The presented architecture in this work provides actionable insights for next-generation RL training system designs.

AsyncFlow: Асинхронный потоковый фреймворк для обучения с подкреплением, оптимизированный для пост-тренинга крупных языковых моделей

AsyncFlow: An Asynchronous Streaming RL Framework for Efficient LLM Post-Training

Аннотация

Support