INTELLECT-3 : Rapport Technique

INTELLECT-3: Technical Report

December 18, 2025

papers.authors: Prime Intellect Team, Mika Senghaas, Fares Obeid, Sami Jaghouar, William Brown, Jack Min Ong, Daniel Auras, Matej Sirovatka, Jannik Straube, Andrew Baker, Sebastian Müller, Justus Mattern, Manveer Basra, Aiman Ismail, Dominik Scherm, Cooper Miller, Ameen Patel, Simon Kirsten, Mario Sieg, Christian Reetz, Kemal Erdem, Vincent Weisser, Johannes Hagemann

cs.AI

papers.abstract

Nous présentons INTELLECT-3, un modèle à mélange d'experts de 106 milliards de paramètres (12 milliards actifs) entraîné par apprentissage par renforcement à grande échelle sur notre pile d'infrastructure RL de bout en bout. INTELLECT-3 atteint des performances de pointe pour sa taille sur des benchmarks de mathématiques, de code, de sciences et de raisonnement, surpassant de nombreux modèles frontaliers plus volumineux. Nous ouvrons en open-source le modèle ainsi que la pile d'infrastructure complète utilisée pour le créer, incluant des cadres de RL, la recette complète, et une vaste collection d'environnements, construits avec la bibliothèque de vérificateurs, pour l'entraînement et l'évaluation provenant de notre plateforme communautaire Environments Hub. Développé pour cet effort, nous introduisons prime-rl, un cadre ouvert pour l'apprentissage par renforcement asynchrone à grande échelle, qui s'adapte de manière transparente d'un nœud unique à des milliers de GPU, et est conçu pour le RL agentique avec un support de première classe pour les interactions multi-tours et l'utilisation d'outils. En utilisant cette pile, nous avons exécuté un entraînement SFT et RL à partir du modèle de base GLM-4.5-Air, en faisant monter l'entraînement RL jusqu'à 512 H200 avec une haute efficacité d'entraînement.

English

We present INTELLECT-3, a 106B-parameter Mixture-of-Experts model (12B active) trained with large-scale reinforcement learning on our end-to-end RL infrastructure stack. INTELLECT-3 achieves state of the art performance for its size across math, code, science and reasoning benchmarks, outperforming many larger frontier models. We open-source the model together with the full infrastructure stack used to create it, including RL frameworks, complete recipe, and a wide collection of environments, built with the verifiers library, for training and evaluation from our Environments Hub community platform. Built for this effort, we introduce prime-rl, an open framework for large-scale asynchronous reinforcement learning, which scales seamlessly from a single node to thousands of GPUs, and is tailored for agentic RL with first-class support for multi-turn interactions and tool use. Using this stack, we run both SFT and RL training on top of the GLM-4.5-Air-Base model, scaling RL training up to 512 H200s with high training efficiency.