Каждый шаг имеет значение: масштабирование обучения с подкреплением для триллион-масштабной модели мышления

Аннотация

Мы представляем Ring-1T — первую открытую модель мышления с триллионным масштабом параметров, соответствующую современным стандартам. Модель включает 1 триллион общих параметров и активирует примерно 50 миллиардов на каждый токен. Обучение таких моделей на триллионном масштабе параметров ставит беспрецедентные задачи, включая рассогласование между обучением и выводом, неэффективность обработки последовательностей и узкие места в системе обучения с подкреплением (RL). Для решения этих проблем мы внедряем три взаимосвязанных инновации: (1) IcePop стабилизирует RL-обучение за счет маскирования и ограничения расхождений на уровне токенов, устраняя нестабильность, вызванную несоответствием между обучением и выводом; (2) C3PO++ повышает эффективность использования ресурсов для длинных последовательностей при ограниченном бюджете токенов за счет их динамического разделения, обеспечивая высокую временную эффективность; и (3) ASystem — высокопроизводительный RL-фреймворк, разработанный для преодоления системных узких мест, препятствующих обучению моделей с триллионным масштабом параметров. Ring-1T демонстрирует прорывные результаты на ключевых тестах: 93,4 на AIME-2025, 86,72 на HMMT-2025, 2088 на CodeForces и 55,94 на ARC-AGI-v1. Особенно примечателен результат уровня серебряной медали на IMO-2025, подчеркивающий исключительные способности модели к рассуждению. Предоставляя полную 1T-параметрическую модель MoE сообществу, мы даем исследователям прямой доступ к передовым возможностям рассуждения. Этот вклад знаменует важный этап в демократизации крупномасштабного интеллекта рассуждений и устанавливает новый стандарт для производительности открытых моделей.

English

We present Ring-1T, the first open-source, state-of-the-art thinking model with a trillion-scale parameter. It features 1 trillion total parameters and activates approximately 50 billion per token. Training such models at a trillion-parameter scale introduces unprecedented challenges, including train-inference misalignment, inefficiencies in rollout processing, and bottlenecks in the RL system. To address these, we pioneer three interconnected innovations: (1) IcePop stabilizes RL training via token-level discrepancy masking and clipping, resolving instability from training-inference mismatches; (2) C3PO++ improves resource utilization for long rollouts under a token budget by dynamically partitioning them, thereby obtaining high time efficiency; and (3) ASystem, a high-performance RL framework designed to overcome the systemic bottlenecks that impede trillion-parameter model training. Ring-1T delivers breakthrough results across critical benchmarks: 93.4 on AIME-2025, 86.72 on HMMT-2025, 2088 on CodeForces, and 55.94 on ARC-AGI-v1. Notably, it attains a silver medal-level result on the IMO-2025, underscoring its exceptional reasoning capabilities. By releasing the complete 1T parameter MoE model to the community, we provide the research community with direct access to cutting-edge reasoning capabilities. This contribution marks a significant milestone in democratizing large-scale reasoning intelligence and establishes a new baseline for open-source model performance.

Каждый шаг имеет значение: масштабирование обучения с подкреплением для триллион-масштабной модели мышления

Every Step Evolves: Scaling Reinforcement Learning for Trillion-Scale Thinking Model

Аннотация

Support