INTELLECT-3: Informe Técnico

INTELLECT-3: Technical Report

December 18, 2025

Autores: Prime Intellect Team, Mika Senghaas, Fares Obeid, Sami Jaghouar, William Brown, Jack Min Ong, Daniel Auras, Matej Sirovatka, Jannik Straube, Andrew Baker, Sebastian Müller, Justus Mattern, Manveer Basra, Aiman Ismail, Dominik Scherm, Cooper Miller, Ameen Patel, Simon Kirsten, Mario Sieg, Christian Reetz, Kemal Erdem, Vincent Weisser, Johannes Hagemann

cs.AI

Resumen

Presentamos INTELLECT-3, un modelo Mixture-of-Experts de 106B parámetros (12B activos) entrenado con aprendizaje por refuerzo a gran escala en nuestra pila de infraestructura integral de RL. INTELLECT-3 logra un rendimiento de vanguardia para su tamaño en puntos de referencia de matemáticas, código, ciencias y razonamiento, superando a muchos modelos fronterizos más grandes. Liberamos el modelo como código abierto junto con la pila de infraestructura completa utilizada para crearlo, incluyendo marcos de trabajo de RL, la receta completa y una amplia colección de entornos, construidos con la biblioteca de verificadores, para entrenamiento y evaluación desde nuestra plataforma comunitaria Environments Hub. Desarrollado para este esfuerzo, presentamos prime-rl, un marco abierto para el aprendizaje por refuerzo asíncrono a gran escala, que escala sin problemas desde un solo nodo hasta miles de GPUs, y está diseñado para RL agéntico con soporte de primera clase para interacciones multiturno y uso de herramientas. Utilizando esta pila, ejecutamos entrenamiento tanto SFT como RL sobre el modelo GLM-4.5-Air-Base, escalando el entrenamiento de RL hasta 512 H200s con una alta eficiencia de entrenamiento.

English

We present INTELLECT-3, a 106B-parameter Mixture-of-Experts model (12B active) trained with large-scale reinforcement learning on our end-to-end RL infrastructure stack. INTELLECT-3 achieves state of the art performance for its size across math, code, science and reasoning benchmarks, outperforming many larger frontier models. We open-source the model together with the full infrastructure stack used to create it, including RL frameworks, complete recipe, and a wide collection of environments, built with the verifiers library, for training and evaluation from our Environments Hub community platform. Built for this effort, we introduce prime-rl, an open framework for large-scale asynchronous reinforcement learning, which scales seamlessly from a single node to thousands of GPUs, and is tailored for agentic RL with first-class support for multi-turn interactions and tool use. Using this stack, we run both SFT and RL training on top of the GLM-4.5-Air-Base model, scaling RL training up to 512 H200s with high training efficiency.