DAPO: Een Open-Source LLM Reinforcement Learning Systeem op Schaal

DAPO: An Open-Source LLM Reinforcement Learning System at Scale

March 18, 2025

Auteurs: Qiying Yu, Zheng Zhang, Ruofei Zhu, Yufeng Yuan, Xiaochen Zuo, Yu Yue, Tiantian Fan, Gaohong Liu, Lingjun Liu, Xin Liu, Haibin Lin, Zhiqi Lin, Bole Ma, Guangming Sheng, Yuxuan Tong, Chi Zhang, Mofan Zhang, Wang Zhang, Hang Zhu, Jinhua Zhu, Jiaze Chen, Jiangjie Chen, Chengyi Wang, Hongli Yu, Weinan Dai, Yuxuan Song, Xiangpeng Wei, Hao Zhou, Jingjing Liu, Wei-Ying Ma, Ya-Qin Zhang, Lin Yan, Mu Qiao, Yonghui Wu, Mingxuan Wang

cs.AI

Samenvatting

Inference-schaling stelt LLM's in staat met ongekende redeneervaardigheden, waarbij reinforcement learning de kerntechniek is om complex redeneren te ontlokken. Echter blijven cruciale technische details van state-of-the-art redenerende LLM's verborgen (zoals in de OpenAI o1 blog en het DeepSeek R1 technisch rapport), waardoor de gemeenschap nog steeds moeite heeft om hun RL-trainingsresultaten te reproduceren. Wij stellen het Decoupled Clip and Dynamic sAmpling Policy Optimization (DAPO) algoritme voor en openbaren volledig een state-of-the-art grootschalig RL-systeem dat 50 punten behaalt op AIME 2024 met het Qwen2.5-32B basismodel. In tegenstelling tot eerdere werken die trainingsdetails achterhouden, introduceren wij vier sleuteltechnieken van ons algoritme die grootschalige LLM RL tot een succes maken. Daarnaast openbaren wij onze trainingscode, die is gebouwd op het verl framework, samen met een zorgvuldig samengesteld en verwerkt dataset. Deze componenten van ons open-source systeem verbeteren de reproduceerbaarheid en ondersteunen toekomstig onderzoek in grootschalige LLM RL.

English

Inference scaling empowers LLMs with unprecedented reasoning ability, with reinforcement learning as the core technique to elicit complex reasoning. However, key technical details of state-of-the-art reasoning LLMs are concealed (such as in OpenAI o1 blog and DeepSeek R1 technical report), thus the community still struggles to reproduce their RL training results. We propose the Decoupled Clip and Dynamic sAmpling Policy Optimization (DAPO) algorithm, and fully open-source a state-of-the-art large-scale RL system that achieves 50 points on AIME 2024 using Qwen2.5-32B base model. Unlike previous works that withhold training details, we introduce four key techniques of our algorithm that make large-scale LLM RL a success. In addition, we open-source our training code, which is built on the verl framework, along with a carefully curated and processed dataset. These components of our open-source system enhance reproducibility and support future research in large-scale LLM RL.