Ogni Passo Evolve: Scalabilità dell'Apprendimento per Rinforzo per un Modello di Pensiero su Scala Trilioni
Every Step Evolves: Scaling Reinforcement Learning for Trillion-Scale Thinking Model
October 21, 2025
Autori: Ling Team, Anqi Shen, Baihui Li, Bin Hu, Bin Jing, Cai Chen, Chao Huang, Chao Zhang, Chaokun Yang, Cheng Lin, Chengyao Wen, Congqi Li, Deng Zhao, Dingbo Yuan, Donghai You, Fagui Mao, Fanzhuang Meng, Feng Xu, Guojie Li, Guowei Wang, Hao Dai, Haonan Zheng, Hong Liu, Jia Guo, Jiaming Liu, Jian Liu, Jianhao Fu, Jiannan Shi, Jianwen Wang, Jianxin Lai, Jin Yang, Jun Mei, Jun Zhou, Junbo Zhao, Junping Zhao, Kuan Xu, Le Su, Lei Chen, Li Tang, Liang Jiang, Liangcheng Fu, Lianhao Xu, Linfeng Shi, Lisha Liao, Longfei Zheng, Meng Li, Mingchun Chen, Qi Zuo, Qiang Cheng, Qianggang Cao, Qitao Shi, Quanrui Guo, Senlin Zhu, Shaofei Wang, Shaomian Zheng, Shuaicheng Li, Shuwei Gu, Siba Chen, Tao Wu, Tao Zhang, Tianyu Zhang, Tianyu Zhou, Tiwei Bie, Tongkai Yang, Wang Hong, Wang Ren, Weihua Chen, Wenbo Yu, Wengang Zheng, Xiangchun Wang, Xiaodong Yan, Xiaopei Wan, Xin Zhao, Xinyu Kong, Xinyu Tang, Xudong Han, Xudong Wang, Xuemin Yang, Xueyu Hu, Yalin Zhang, Yan Sun, Yicheng Shan, Yilong Wang, Yingying Xu, Yongkang Liu, Yongzhen Guo, Yuanyuan Wang, Yuchen Yan, Yuefan Wang, Yuhong Guo, Zehuan Li, Zhankai Xu, Zhe Li, Zhenduo Zhang, Zhengke Gui, Zhenxuan Pan, Zhenyu Huang, Zhenzhong Lan, Zhiqiang Ding, Zhiqiang Zhang, Zhixun Li, Zhizhen Liu, Zihao Wang, Zujie Wen
cs.AI
Abstract
Presentiamo Ring-1T, il primo modello di pensiero open-source all'avanguardia con una scala di parametri nell'ordine dei trilioni. Il modello vanta un totale di 1 trilione di parametri e attiva circa 50 miliardi per token. Addestrare modelli di questa scala introduce sfide senza precedenti, tra cui disallineamento tra addestramento e inferenza, inefficienze nel processing dei rollout e colli di bottiglia nel sistema di RL. Per affrontare questi problemi, introduciamo tre innovazioni interconnesse: (1) IcePop stabilizza l'addestramento RL attraverso il masking e il clipping delle discrepanze a livello di token, risolvendo l'instabilità derivante dalle discrepanze tra addestramento e inferenza; (2) C3PO++ migliora l'utilizzo delle risorse per rollout lunghi sotto un budget di token, partizionandoli dinamicamente e ottenendo così un'elevata efficienza temporale; e (3) ASystem, un framework RL ad alte prestazioni progettato per superare i colli di bottiglia sistemici che ostacolano l'addestramento di modelli con trilioni di parametri. Ring-1T raggiunge risultati rivoluzionari su benchmark critici: 93.4 su AIME-2025, 86.72 su HMMT-2025, 2088 su CodeForces e 55.94 su ARC-AGI-v1. In particolare, ottiene un risultato di livello medaglia d'argento su IMO-2025, sottolineando le sue eccezionali capacità di ragionamento. Rilasciando alla comunità il completo modello MoE da 1T parametri, forniamo ai ricercatori accesso diretto a capacità di ragionamento all'avanguardia. Questo contributo segna una pietra miliare significativa nella democratizzazione dell'intelligenza di ragionamento su larga scala e stabilisce un nuovo riferimento per le prestazioni dei modelli open-source.
English
We present Ring-1T, the first open-source, state-of-the-art thinking model
with a trillion-scale parameter. It features 1 trillion total parameters and
activates approximately 50 billion per token. Training such models at a
trillion-parameter scale introduces unprecedented challenges, including
train-inference misalignment, inefficiencies in rollout processing, and
bottlenecks in the RL system. To address these, we pioneer three interconnected
innovations: (1) IcePop stabilizes RL training via token-level discrepancy
masking and clipping, resolving instability from training-inference mismatches;
(2) C3PO++ improves resource utilization for long rollouts under a token budget
by dynamically partitioning them, thereby obtaining high time efficiency; and
(3) ASystem, a high-performance RL framework designed to overcome the systemic
bottlenecks that impede trillion-parameter model training. Ring-1T delivers
breakthrough results across critical benchmarks: 93.4 on AIME-2025, 86.72 on
HMMT-2025, 2088 on CodeForces, and 55.94 on ARC-AGI-v1. Notably, it attains a
silver medal-level result on the IMO-2025, underscoring its exceptional
reasoning capabilities. By releasing the complete 1T parameter MoE model to the
community, we provide the research community with direct access to cutting-edge
reasoning capabilities. This contribution marks a significant milestone in
democratizing large-scale reasoning intelligence and establishes a new baseline
for open-source model performance.