Chaque Étape Évolue : Mise à l'Échelle de l'Apprentissage par Renforcement pour un Modèle de Pensée à l'Échelle du Trillion

papers.abstract

Nous présentons Ring-1T, le premier modèle de pensée open-source de pointe doté d’un trillion de paramètres. Il compte un trillion de paramètres au total et en active environ 50 milliards par token. L’entraînement de tels modèles à l’échelle du trillion de paramètres introduit des défis sans précédent, notamment un désalignement entre l’entraînement et l’inférence, des inefficacités dans le traitement des séquences et des goulots d’étranglement dans le système d’apprentissage par renforcement (RL). Pour y remédier, nous proposons trois innovations interconnectées : (1) IcePop stabilise l’entraînement RL via un masquage et un écrêtage des écarts au niveau des tokens, résolvant ainsi l’instabilité due aux divergences entre entraînement et inférence ; (2) C3PO++ améliore l’utilisation des ressources pour les longues séquences sous un budget de tokens en les partitionnant dynamiquement, obtenant ainsi une efficacité temporelle élevée ; et (3) ASystem, un cadre RL haute performance conçu pour surmonter les goulots d’étranglement systémiques qui entravent l’entraînement de modèles à un trillion de paramètres. Ring-1T obtient des résultats révolutionnaires sur des benchmarks critiques : 93,4 sur AIME-2025, 86,72 sur HMMT-2025, 2088 sur CodeForces et 55,94 sur ARC-AGI-v1. Notamment, il atteint un niveau de médaille d’argent sur l’IMO-2025, soulignant ses capacités de raisonnement exceptionnelles. En publiant le modèle complet MoE à 1T paramètres pour la communauté, nous offrons un accès direct à des capacités de raisonnement de pointe. Cette contribution marque une étape importante dans la démocratisation de l’intelligence de raisonnement à grande échelle et établit une nouvelle référence pour les performances des modèles open-source.

English

We present Ring-1T, the first open-source, state-of-the-art thinking model with a trillion-scale parameter. It features 1 trillion total parameters and activates approximately 50 billion per token. Training such models at a trillion-parameter scale introduces unprecedented challenges, including train-inference misalignment, inefficiencies in rollout processing, and bottlenecks in the RL system. To address these, we pioneer three interconnected innovations: (1) IcePop stabilizes RL training via token-level discrepancy masking and clipping, resolving instability from training-inference mismatches; (2) C3PO++ improves resource utilization for long rollouts under a token budget by dynamically partitioning them, thereby obtaining high time efficiency; and (3) ASystem, a high-performance RL framework designed to overcome the systemic bottlenecks that impede trillion-parameter model training. Ring-1T delivers breakthrough results across critical benchmarks: 93.4 on AIME-2025, 86.72 on HMMT-2025, 2088 on CodeForces, and 55.94 on ARC-AGI-v1. Notably, it attains a silver medal-level result on the IMO-2025, underscoring its exceptional reasoning capabilities. By releasing the complete 1T parameter MoE model to the community, we provide the research community with direct access to cutting-edge reasoning capabilities. This contribution marks a significant milestone in democratizing large-scale reasoning intelligence and establishes a new baseline for open-source model performance.

Chaque Étape Évolue : Mise à l'Échelle de l'Apprentissage par Renforcement pour un Modèle de Pensée à l'Échelle du Trillion

Every Step Evolves: Scaling Reinforcement Learning for Trillion-Scale Thinking Model

papers.abstract

Support