Elke Stap Evolueert: Schaalvergroting van Reinforcement Learning voor een Denkmodel op Trillioenschaal

Every Step Evolves: Scaling Reinforcement Learning for Trillion-Scale Thinking Model

October 21, 2025

Auteurs: Ling Team, Anqi Shen, Baihui Li, Bin Hu, Bin Jing, Cai Chen, Chao Huang, Chao Zhang, Chaokun Yang, Cheng Lin, Chengyao Wen, Congqi Li, Deng Zhao, Dingbo Yuan, Donghai You, Fagui Mao, Fanzhuang Meng, Feng Xu, Guojie Li, Guowei Wang, Hao Dai, Haonan Zheng, Hong Liu, Jia Guo, Jiaming Liu, Jian Liu, Jianhao Fu, Jiannan Shi, Jianwen Wang, Jianxin Lai, Jin Yang, Jun Mei, Jun Zhou, Junbo Zhao, Junping Zhao, Kuan Xu, Le Su, Lei Chen, Li Tang, Liang Jiang, Liangcheng Fu, Lianhao Xu, Linfeng Shi, Lisha Liao, Longfei Zheng, Meng Li, Mingchun Chen, Qi Zuo, Qiang Cheng, Qianggang Cao, Qitao Shi, Quanrui Guo, Senlin Zhu, Shaofei Wang, Shaomian Zheng, Shuaicheng Li, Shuwei Gu, Siba Chen, Tao Wu, Tao Zhang, Tianyu Zhang, Tianyu Zhou, Tiwei Bie, Tongkai Yang, Wang Hong, Wang Ren, Weihua Chen, Wenbo Yu, Wengang Zheng, Xiangchun Wang, Xiaodong Yan, Xiaopei Wan, Xin Zhao, Xinyu Kong, Xinyu Tang, Xudong Han, Xudong Wang, Xuemin Yang, Xueyu Hu, Yalin Zhang, Yan Sun, Yicheng Shan, Yilong Wang, Yingying Xu, Yongkang Liu, Yongzhen Guo, Yuanyuan Wang, Yuchen Yan, Yuefan Wang, Yuhong Guo, Zehuan Li, Zhankai Xu, Zhe Li, Zhenduo Zhang, Zhengke Gui, Zhenxuan Pan, Zhenyu Huang, Zhenzhong Lan, Zhiqiang Ding, Zhiqiang Zhang, Zhixun Li, Zhizhen Liu, Zihao Wang, Zujie Wen

cs.AI

Samenvatting

We presenteren Ring-1T, het eerste open-source, state-of-the-art denkmodel met een schaal van een biljoen parameters. Het beschikt over in totaal 1 biljoen parameters en activeert ongeveer 50 miljard per token. Het trainen van dergelijke modellen op een schaal van een biljoen parameters brengt ongekende uitdagingen met zich mee, waaronder train-inference-misalignement, inefficiënties in rollout-verwerking en knelpunten in het RL-systeem. Om deze problemen aan te pakken, introduceren we drie onderling verbonden innovaties: (1) IcePop stabiliseert RL-training via token-level discrepantiemasking en clipping, waardoor instabiliteit door train-inference-mismatches wordt opgelost; (2) C3PO++ verbetert de resourcebenutting voor lange rollouts onder een tokenbudget door deze dynamisch te partitioneren, waardoor een hoge tijdefficiëntie wordt bereikt; en (3) ASystem, een hoogwaardig RL-framework ontworpen om de systemische knelpunten die de training van modellen met een biljoen parameters belemmeren, te overwinnen. Ring-1T levert baanbrekende resultaten op kritieke benchmarks: 93,4 op AIME-2025, 86,72 op HMMT-2025, 2088 op CodeForces en 55,94 op ARC-AGI-v1. Opmerkelijk is dat het een zilveren medaille-niveau resultaat behaalt op de IMO-2025, wat zijn uitzonderlijke redeneervaardigheden onderstreept. Door het complete 1T-parameter MoE-model vrij te geven aan de gemeenschap, bieden we de onderzoeksgemeenschap directe toegang tot geavanceerde redeneervaardigheden. Deze bijdrage markeert een belangrijke mijlpaal in het democratiseren van grootschalige redeneerintelligentie en stelt een nieuwe standaard voor de prestaties van open-source modellen.

English

We present Ring-1T, the first open-source, state-of-the-art thinking model with a trillion-scale parameter. It features 1 trillion total parameters and activates approximately 50 billion per token. Training such models at a trillion-parameter scale introduces unprecedented challenges, including train-inference misalignment, inefficiencies in rollout processing, and bottlenecks in the RL system. To address these, we pioneer three interconnected innovations: (1) IcePop stabilizes RL training via token-level discrepancy masking and clipping, resolving instability from training-inference mismatches; (2) C3PO++ improves resource utilization for long rollouts under a token budget by dynamically partitioning them, thereby obtaining high time efficiency; and (3) ASystem, a high-performance RL framework designed to overcome the systemic bottlenecks that impede trillion-parameter model training. Ring-1T delivers breakthrough results across critical benchmarks: 93.4 on AIME-2025, 86.72 on HMMT-2025, 2088 on CodeForces, and 55.94 on ARC-AGI-v1. Notably, it attains a silver medal-level result on the IMO-2025, underscoring its exceptional reasoning capabilities. By releasing the complete 1T parameter MoE model to the community, we provide the research community with direct access to cutting-edge reasoning capabilities. This contribution marks a significant milestone in democratizing large-scale reasoning intelligence and establishes a new baseline for open-source model performance.