モチーフ3: テクニカルレポート

要旨

本稿では、総パラメータ数3140億、トークンあたり132億のパラメータが活性化される、デコーダーのみのMixture-of-Experts言語モデルであるMotif 3を紹介する。各スパースMoE層には384個のルーティング対象エキスパートが含まれ、トークンごとに8個が選択される。この細粒度のスパース性により、計算を制限しつつ、十分なエキスパート容量が得られる。Motif 3は、グループ化差分注意とマルチヘッド潜在注意の圧縮キー・バリュー表現を統合したGDLA（Grouped Differential Latent Attention）を基盤とする。さらに、本アーキテクチャは、最適化の安定性、エキスパートの特化、推論効率を改善するため、修正された多様体制約付きハイパー接続、エキスパート固有のPolyNorm活性化関数、および複数トークン予測を組み込む。 Motif 3は、ウェブ文書、STEM、コード、数学、多言語コンテンツ、専門分野特化コーパスにわたる約12.5兆トークンで事前学習される。エキスパートバランシングと数値安定化技術は、大規模でも安定した学習を支援する。また、選択的MXFP8計算と通信、メモリ効率の高い融合カーネル、ウィンドウ認識型コンテキスト並列性により、最大256Kトークンのコンテキスト長での学習が可能となる。事後学習パイプラインは、一般的な教師ありファインチューニング、強化学習で訓練された6つの専門教師モデル、教師ありファインチューニングで訓練されたソフトウェア工学教師モデル、および複数教師オン方策蒸留を組み合わせる。その結果得られた統一モデルは、推論、コーディング、ツール使用、専門業務、長文脈理解、調整された棄権、指示追従における相補的な能力を統合する。広範な評価スイートにおいて、Motif 3は、長期のエージェントタスク、数学的推論、科学知識、幻覚に敏感な評価で強い結果を示し、主要なオープンウェイトモデルに対して競争力のある性能を実証する。

English

We introduce Motif 3, a decoder-only Mixture-of-Experts language model with 314 billion total parameters and 13.2 billion activated per token. Each sparse MoE layer contains 384 routed experts, with eight selected per token. This fine-grained sparsity provides substantial expert capacity while limiting computation. Motif 3 is built around Grouped Differential Latent Attention (GDLA), which integrates grouped differential attention with the compressed key-value representation of Multi-head Latent Attention. The architecture further incorporates modified manifold-constrained hyper-connections, Expert Specific PolyNorm activations, and multi-token prediction to improve optimization stability, expert specialization, and inference efficiency. We pretrain Motif 3 on approximately 12.5 trillion tokens spanning web documents, STEM, code, mathematics, multilingual content, and domain-specialized corpora. Expert-balancing and numerical-stabilization techniques support stable training at scale, while selective MXFP8 computation and communication, memory-efficient fused kernels, and window-aware context parallelism enable training with context lengths up to 256K tokens. Our post-training pipeline combines general supervised fine-tuning, six specialist teachers trained with reinforcement learning, a software-engineering teacher trained with supervised fine-tuning, and Multi-teacher On-Policy Distillation. The resulting unified model consolidates complementary capabilities in reasoning, coding, tool use, professional work, long-context understanding, calibrated abstention, and instruction following. Across a broad evaluation suite, Motif 3 demonstrates competitive performance against leading open weight models, including strong results on long-horizon agentic tasks, mathematical reasoning, scientific knowledge, and hallucination-sensitive evaluation.