INTELLECT-3: 技術報告書

要旨

我々はINTELLECT-3を発表します。これは106Bパラメータ（活性化は12B）のMixture-of-Expertsモデルであり、当社のエンドツーエンドRLインフラストラクチャスタックを用いた大規模強化学習で訓練されました。INTELLECT-3は、数学、コード、科学、推論のベンチマークにおいて、その規模において最高水準の性能を達成し、多くの大規模なフロンティアモデルを凌駕しています。本モデルは、RLフレームワーク、完全なレシピ、そして当社のEnvironments Hubコミュニティプラットフォームから提供されるverifiersライブラリで構築された訓練・評価用環境の広範なコレクションを含む、その作成に使用された完全なインフラストラクチャスタックと共にオープンソース化します。この取り組みのために構築したprime-rlは、大規模非同期強化学習のためのオープンフレームワークであり、単一ノードから数千GPUへシームレスにスケールし、マルチターン相互作用とツール利用をファーストクラスサポートするエージェント的RLに特化しています。このスタックを用いて、我々はGLM-4.5-Air-Baseモデルを基盤にSFTとRL訓練を実施し、RL訓練を512 H200まで拡張し、高い訓練効率を実現しました。

English

We present INTELLECT-3, a 106B-parameter Mixture-of-Experts model (12B active) trained with large-scale reinforcement learning on our end-to-end RL infrastructure stack. INTELLECT-3 achieves state of the art performance for its size across math, code, science and reasoning benchmarks, outperforming many larger frontier models. We open-source the model together with the full infrastructure stack used to create it, including RL frameworks, complete recipe, and a wide collection of environments, built with the verifiers library, for training and evaluation from our Environments Hub community platform. Built for this effort, we introduce prime-rl, an open framework for large-scale asynchronous reinforcement learning, which scales seamlessly from a single node to thousands of GPUs, and is tailored for agentic RL with first-class support for multi-turn interactions and tool use. Using this stack, we run both SFT and RL training on top of the GLM-4.5-Air-Base model, scaling RL training up to 512 H200s with high training efficiency.

INTELLECT-3: 技術報告書

INTELLECT-3: Technical Report

要旨

Support