Xmodel-2.5：1.3Bパラメータのデータ効率型推論特化小型言語モデル

要旨

大規模言語モデルは強力な推論能力とツール利用スキルを発揮するが、その計算コストの高さからエッジデバイスやコストに敏感な環境での実用が困難である。本論文では、ドロップイン型エージェントコアとして設計された13億パラメータの小型言語モデルXmodel-2.5を提案する。最大更新パラメータ化（μP）によるトレーニングにより、2000万パラメータのプロキシモデルで調整したハイパーパラメータを、パラメータ共有型の単語埋め込みアーキテクチャ下であっても完全なモデルに直接転移可能にした。1.4トークンのWarmup--Stable--Decayカリキュラムを採用し、さらに減衰フェーズでAdamWからMuonへ切り替えることで、他の全ハイパーパラメータを固定したまま13課題の推論平均精度を4.58%向上させることを実証した。これにより、初期段階でのAdamWの安定性と後期段階でのMuonの鋭敏化を組み合わせることで、下流タスクの性能向上が可能であることを検証した。FP8混合精度トレーニングにより精度とスループットのバランスを実現している。すべてのチェックポイント、レシピ、評価コードはApache-2.0ライセンスで公開されている。https://huggingface.co/XiaoduoAILab/Xmodel-2.5 および https://huggingface.co/XiaoduoAILab/Xmodel-2.5-history（トレーニングチェックポイント）。トレーニングコードと評価ハーネス：https://github.com/XiaoduoAILab/Xmodel-2.5。

English

Large language models deliver strong reasoning and tool-use skills, yet their computational demands make them impractical for edge or cost-sensitive deployments. We present Xmodel-2.5, a 1.3-billion-parameter small language model designed as a drop-in agent core. Training with maximal-update parameterization (μP) allows hyper-parameters tuned on a 20M-parameter proxy to transfer directly to the full model, even under the parameter-tied tie-word-embedding architecture. A 1.4T-token Warmup--Stable--Decay curriculum is used, and we further show that switching from AdamW to Muon during the decay phase improves the 13-task reasoning average by 4.58\,\% while keeping every other hyper-parameter fixed, verifying that early AdamW stability can be paired with late Muon sharpening for better downstream performance. FP8-mixed-precision training balances accuracy and throughput. All checkpoints, recipes, and evaluation code are released under the Apache-2.0 license.https://huggingface.co/XiaoduoAILab/Xmodel-2.5 and https://huggingface.co/XiaoduoAILab/Xmodel-2.5-history (training checkpoints). Training code and evaluation harness: https://github.com/XiaoduoAILab/Xmodel-2.5.

Xmodel-2.5：1.3Bパラメータのデータ効率型推論特化小型言語モデル

Xmodel-2.5: 1.3B Data-Efficient Reasoning SLM

要旨

Support