ИНТЕЛЛЕКТ-3: Технический отчет
INTELLECT-3: Technical Report
December 18, 2025
Авторы: Prime Intellect Team, Mika Senghaas, Fares Obeid, Sami Jaghouar, William Brown, Jack Min Ong, Daniel Auras, Matej Sirovatka, Jannik Straube, Andrew Baker, Sebastian Müller, Justus Mattern, Manveer Basra, Aiman Ismail, Dominik Scherm, Cooper Miller, Ameen Patel, Simon Kirsten, Mario Sieg, Christian Reetz, Kemal Erdem, Vincent Weisser, Johannes Hagemann
cs.AI
Аннотация
Мы представляем INTELLECT-3 — модель типа Mixture-of-Experts с 106 миллиардами параметров (12 миллиардов активных), обученную с помощью масштабируемого обучения с подкреплением на нашем сквозном инфраструктурном стеке для RL. INTELLECT-3 демонстрирует наилучшие для своего размера результаты на бенчмарках по математике, программированию, естественным наукам и логическим рассуждениям, превосходя многие более крупные фронтирные модели. Мы открываем исходный код модели вместе с полным инфраструктурным стеком, использованным для её создания, включая RL-фреймворки, полный рецепт обучения и обширную коллекцию сред для обучения и оценки, созданных с помощью библиотеки верификаторов, с нашей общественной платформы Environments Hub. Специально для этой работы мы представляем prime-rl — открытый фреймворк для крупномасштабного асинхронного обучения с подкреплением, который бесшовно масштабируется от одного узла до тысяч GPU и ориентирован на агентное RL с первоклассной поддержкой многошаговых взаимодействий и использования инструментов. Используя этот стек, мы провели как SFT, так и RL-обучение на основе модели GLM-4.5-Air-Base, масштабировав RL-обучение до 512 H200 с высокой эффективностью обучения.
English
We present INTELLECT-3, a 106B-parameter Mixture-of-Experts model (12B active) trained with large-scale reinforcement learning on our end-to-end RL infrastructure stack. INTELLECT-3 achieves state of the art performance for its size across math, code, science and reasoning benchmarks, outperforming many larger frontier models. We open-source the model together with the full infrastructure stack used to create it, including RL frameworks, complete recipe, and a wide collection of environments, built with the verifiers library, for training and evaluation from our Environments Hub community platform. Built for this effort, we introduce prime-rl, an open framework for large-scale asynchronous reinforcement learning, which scales seamlessly from a single node to thousands of GPUs, and is tailored for agentic RL with first-class support for multi-turn interactions and tool use. Using this stack, we run both SFT and RL training on top of the GLM-4.5-Air-Base model, scaling RL training up to 512 H200s with high training efficiency.