Cada Paso Evoluciona: Escalando el Aprendizaje por Refuerzo para un Modelo de Pensamiento a Escala de Billones

Every Step Evolves: Scaling Reinforcement Learning for Trillion-Scale Thinking Model

October 21, 2025

Autores: Ling Team, Anqi Shen, Baihui Li, Bin Hu, Bin Jing, Cai Chen, Chao Huang, Chao Zhang, Chaokun Yang, Cheng Lin, Chengyao Wen, Congqi Li, Deng Zhao, Dingbo Yuan, Donghai You, Fagui Mao, Fanzhuang Meng, Feng Xu, Guojie Li, Guowei Wang, Hao Dai, Haonan Zheng, Hong Liu, Jia Guo, Jiaming Liu, Jian Liu, Jianhao Fu, Jiannan Shi, Jianwen Wang, Jianxin Lai, Jin Yang, Jun Mei, Jun Zhou, Junbo Zhao, Junping Zhao, Kuan Xu, Le Su, Lei Chen, Li Tang, Liang Jiang, Liangcheng Fu, Lianhao Xu, Linfeng Shi, Lisha Liao, Longfei Zheng, Meng Li, Mingchun Chen, Qi Zuo, Qiang Cheng, Qianggang Cao, Qitao Shi, Quanrui Guo, Senlin Zhu, Shaofei Wang, Shaomian Zheng, Shuaicheng Li, Shuwei Gu, Siba Chen, Tao Wu, Tao Zhang, Tianyu Zhang, Tianyu Zhou, Tiwei Bie, Tongkai Yang, Wang Hong, Wang Ren, Weihua Chen, Wenbo Yu, Wengang Zheng, Xiangchun Wang, Xiaodong Yan, Xiaopei Wan, Xin Zhao, Xinyu Kong, Xinyu Tang, Xudong Han, Xudong Wang, Xuemin Yang, Xueyu Hu, Yalin Zhang, Yan Sun, Yicheng Shan, Yilong Wang, Yingying Xu, Yongkang Liu, Yongzhen Guo, Yuanyuan Wang, Yuchen Yan, Yuefan Wang, Yuhong Guo, Zehuan Li, Zhankai Xu, Zhe Li, Zhenduo Zhang, Zhengke Gui, Zhenxuan Pan, Zhenyu Huang, Zhenzhong Lan, Zhiqiang Ding, Zhiqiang Zhang, Zhixun Li, Zhizhen Liu, Zihao Wang, Zujie Wen

cs.AI

Resumen

Presentamos Ring-1T, el primer modelo de pensamiento de código abierto y de última generación con un billón de parámetros. Cuenta con un billón de parámetros en total y activa aproximadamente 50 mil millones por token. Entrenar modelos de esta escala a nivel de billones de parámetros introduce desafíos sin precedentes, como la desalineación entre entrenamiento e inferencia, ineficiencias en el procesamiento de despliegues y cuellos de botella en el sistema de aprendizaje por refuerzo (RL). Para abordar estos problemas, hemos desarrollado tres innovaciones interconectadas: (1) IcePop estabiliza el entrenamiento de RL mediante el enmascaramiento y recorte de discrepancias a nivel de token, resolviendo la inestabilidad causada por desajustes entre entrenamiento e inferencia; (2) C3PO++ mejora la utilización de recursos para despliegues largos bajo un presupuesto de token mediante su partición dinámica, logrando así una alta eficiencia temporal; y (3) ASystem, un marco de RL de alto rendimiento diseñado para superar los cuellos de botella sistémicos que dificultan el entrenamiento de modelos de billones de parámetros. Ring-1T obtiene resultados revolucionarios en benchmarks críticos: 93.4 en AIME-2025, 86.72 en HMMT-2025, 2088 en CodeForces y 55.94 en ARC-AGI-v1. Destaca especialmente su resultado a nivel de medalla de plata en la IMO-2025, lo que subraya sus capacidades excepcionales de razonamiento. Al liberar el modelo completo de 1T parámetros MoE a la comunidad, proporcionamos acceso directo a capacidades de razonamiento de vanguardia para la investigación. Esta contribución marca un hito significativo en la democratización de la inteligencia de razonamiento a gran escala y establece un nuevo estándar para el rendimiento de modelos de código abierto.

English

We present Ring-1T, the first open-source, state-of-the-art thinking model with a trillion-scale parameter. It features 1 trillion total parameters and activates approximately 50 billion per token. Training such models at a trillion-parameter scale introduces unprecedented challenges, including train-inference misalignment, inefficiencies in rollout processing, and bottlenecks in the RL system. To address these, we pioneer three interconnected innovations: (1) IcePop stabilizes RL training via token-level discrepancy masking and clipping, resolving instability from training-inference mismatches; (2) C3PO++ improves resource utilization for long rollouts under a token budget by dynamically partitioning them, thereby obtaining high time efficiency; and (3) ASystem, a high-performance RL framework designed to overcome the systemic bottlenecks that impede trillion-parameter model training. Ring-1T delivers breakthrough results across critical benchmarks: 93.4 on AIME-2025, 86.72 on HMMT-2025, 2088 on CodeForces, and 55.94 on ARC-AGI-v1. Notably, it attains a silver medal-level result on the IMO-2025, underscoring its exceptional reasoning capabilities. By releasing the complete 1T parameter MoE model to the community, we provide the research community with direct access to cutting-edge reasoning capabilities. This contribution marks a significant milestone in democratizing large-scale reasoning intelligence and establishes a new baseline for open-source model performance.