DFM Mimir v1: 許容される事後学習データのみを使用して10億パラメータで最先端の性能を実現するオープンHRM

要旨

現在の大規模言語モデルの開発は、大規模でしばしば許諾が得られていないデータセットに依存しており、オープンソースと倫理的なデータ調達に取り組む研究者にとって高い障壁となっています。我々は、階層的推論モデル（HRM）アーキテクチャに基づく10億パラメータの言語モデルであるMimir v1を紹介します。本モデルはスクラッチから学習され、許諾のある事後学習データのみを使用して、英語で非常に競争力のある性能を発揮し、デンマーク語では新たな最高水準を確立します。161のデータセットの混合で学習されたMimir v1は、元のHRM-Text 1Bを凌駕し、Qwen 3.5 4BやGemma 4 E2Bなどのより大規模な最先端モデルと競合します。英語、数学・コード、デンマーク語にわたる20のベンチマークで評価されています。モデルはHugging Face Hubで公開しています：https://huggingface.co/danish-foundation-models/DFM-Mimir

English

Current large language model development relies on massive, often non-permissible datasets, creating a high barrier for researchers committed to open-source and ethically sourced data. We introduce Mimir v1, a 1-billion-parameter language model based on the Hierarchical Reasoning Model (HRM) architecture, that is trained from scratch and delivers highly competitive performance for English and sets a new state of the art for Danish using only permissible post-training data. Trained on a mixture of 161 datasets, Mimir v1 outperforms the original HRM-Text 1B and competes with larger frontier models like Qwen 3.5 4B and Gemma 4 E2B, tested across 20 benchmarks for English, Math & Code and Danish. The model is available on the Hugging Face Hub: https://huggingface.co/danish-foundation-models/DFM-Mimir