MiniMax-M1：ライトニングアテンションによるテスト時計算の効率的なスケーリング

要旨

世界初のオープンウェイト大規模ハイブリッドアテンション推論モデルであるMiniMax-M1を紹介します。MiniMax-M1は、ハイブリッドMixture-of-Experts（MoE）アーキテクチャとライトニングアテンションメカニズムを組み合わせて動作します。このモデルは、トークンあたり45.9億パラメータが活性化される合計4560億パラメータを持つ前身モデルMiniMax-Text-01を基に開発されました。M1モデルは、100万トークンのコンテキスト長をネイティブでサポートし、DeepSeek R1のコンテキストサイズの8倍です。さらに、MiniMax-M1のライトニングアテンションメカニズムにより、テスト時の計算効率が向上します。これらの特性により、M1は長い入力の処理と深い思考を必要とする複雑なタスクに特に適しています。MiniMax-M1は、サンドボックスベースの実世界のソフトウェアエンジニアリング環境を含む多様な問題に対して、大規模な強化学習（RL）を用いて訓練されています。M1のRL訓練における固有の効率性に加え、RL効率をさらに向上させる新しいアルゴリズムCISPOを提案します。CISPOは、トークン更新ではなく重要度サンプリングの重みをクリップし、他の競合するRLバリアントを凌駕します。ハイブリッドアテンションとCISPOを組み合わせることで、MiniMax-M1の完全なRL訓練は512台のH800 GPU上でわずか3週間で完了し、レンタルコストはわずか534,700ドルです。40Kと80Kの思考予算を持つ2つのバージョンのMiniMax-M1モデルをリリースします。40Kモデルは80K訓練の中間段階を表しています。標準ベンチマークでの実験では、当社のモデルはオリジナルのDeepSeek-R1やQwen3-235Bなどの強力なオープンウェイトモデルに匹敵または優れており、特に複雑なソフトウェアエンジニアリング、ツール利用、長文コンテキストタスクにおいて優れた性能を発揮します。MiniMax-M1はhttps://github.com/MiniMax-AI/MiniMax-M1で公開しています。

English

We introduce MiniMax-M1, the world's first open-weight, large-scale hybrid-attention reasoning model. MiniMax-M1 is powered by a hybrid Mixture-of-Experts (MoE) architecture combined with a lightning attention mechanism. The model is developed based on our previous MiniMax-Text-01 model, which contains a total of 456 billion parameters with 45.9 billion parameters activated per token. The M1 model natively supports a context length of 1 million tokens, 8x the context size of DeepSeek R1. Furthermore, the lightning attention mechanism in MiniMax-M1 enables efficient scaling of test-time compute. These properties make M1 particularly suitable for complex tasks that require processing long inputs and thinking extensively. MiniMax-M1 is trained using large-scale reinforcement learning (RL) on diverse problems including sandbox-based, real-world software engineering environments. In addition to M1's inherent efficiency advantage for RL training, we propose CISPO, a novel RL algorithm to further enhance RL efficiency. CISPO clips importance sampling weights rather than token updates, outperforming other competitive RL variants. Combining hybrid-attention and CISPO enables MiniMax-M1's full RL training on 512 H800 GPUs to complete in only three weeks, with a rental cost of just $534,700. We release two versions of MiniMax-M1 models with 40K and 80K thinking budgets respectively, where the 40K model represents an intermediate phase of the 80K training. Experiments on standard benchmarks show that our models are comparable or superior to strong open-weight models such as the original DeepSeek-R1 and Qwen3-235B, with particular strengths in complex software engineering, tool utilization, and long-context tasks. We publicly release MiniMax-M1 at https://github.com/MiniMax-AI/MiniMax-M1.

MiniMax-M1：ライトニングアテンションによるテスト時計算の効率的なスケーリング

MiniMax-M1: Scaling Test-Time Compute Efficiently with Lightning Attention

要旨

Support