DFM Mimir v1: 1B 파라미터에서 허용 가능한 포스트트레이닝 데이터만을 사용하여 최첨단 성능을 제공하는 오픈 HRM

초록

현재 대규모 언어 모델 개발은 방대하고 종종 사용이 허용되지 않는 데이터셋에 의존하고 있으며, 이는 오픈소스와 윤리적으로 확보된 데이터를 지향하는 연구자들에게 높은 진입 장벽을 만든다. 우리는 계층적 추론 모델(HRM) 아키텍처를 기반으로 하는 10억 파라미터 언어 모델 Mimir v1을 소개한다. Mimir v1은 처음부터 훈련되었으며, 오직 사용이 허용된 사후 훈련 데이터만을 사용하여 영어에서 매우 경쟁력 있는 성능을 제공하고 덴마크어에서 새로운 최첨단 성능을 달성한다. 161개 데이터셋의 혼합 훈련을 통해 얻은 Mimir v1은 원래 HRM-Text 1B를 능가하며, 영어, 수학·코드 및 덴마크어를 포괄하는 20개 벤치마크에서 Qwen 3.5 4B 및 Gemma 4 E2B와 같은 대형 프런티어 모델과 경쟁할 만한 성능을 보인다. 모델은 Hugging Face Hub에서 확인할 수 있다: https://huggingface.co/danish-foundation-models/DFM-Mimir

English

Current large language model development relies on massive, often non-permissible datasets, creating a high barrier for researchers committed to open-source and ethically sourced data. We introduce Mimir v1, a 1-billion-parameter language model based on the Hierarchical Reasoning Model (HRM) architecture, that is trained from scratch and delivers highly competitive performance for English and sets a new state of the art for Danish using only permissible post-training data. Trained on a mixture of 161 datasets, Mimir v1 outperforms the original HRM-Text 1B and competes with larger frontier models like Qwen 3.5 4B and Gemma 4 E2B, tested across 20 benchmarks for English, Math & Code and Danish. The model is available on the Hugging Face Hub: https://huggingface.co/danish-foundation-models/DFM-Mimir