Motif 2 12.7B Technisch Rapport

Motif 2 12.7B technical report

November 7, 2025

Auteurs: Junghwan Lim, Sungmin Lee, Dongseok Kim, Taehyun Kim, Eunhwan Park, Jeesoo Lee, Jeongdoo Lee, Junhyeok Lee, Wai Ting Cheung, Dahye Choi, Jaeheui Her, Jaeyeon Huh, Hanbin Jung, Changjin Kang, Beomgyu Kim, Minjae Kim, Taewhan Kim, Youngrok Kim, Hyukjin Kweon, Haesol Lee, Kungyu Lee, Dongpin Oh, Yeongjae Park, Bokki Ryu, Dongjoo Weon

cs.AI

Samenvatting

Wij introduceren Motif-2-12.7B, een nieuw open-weight foundationmodel dat de efficiëntiegrens van grote taalmodelle verlegt door architecturale innovatie te combineren met systeemniveau-optimalisatie. Ontworpen voor schaalbare taalbegrip en robuuste instructiegeneralizatie onder beperkte rekenbudgetten, bouwt Motif-2-12.7B voort op Motif-2.6B met de integratie van *Grouped Differential Attention* (GDA), dat de representatie-efficiëntie verbetert door signaal- en ruiscontrole-attentiepaden te ontwarren. Het model is voorgetraind op 5,5 biljoen tokens uit diverse linguïstische, wiskundige, wetenschappelijke en programmeerdomeinen met behulp van een curriculum-gestuurde dataplanner die de datasamenstellingsratio geleidelijk verandert. Het trainingssysteem benut de MuonClip-optimizer naast aangepaste high-performance kernels, waaronder gefuseerde PolyNorm-activaties en het Parallel Muon-algoritme, wat aanzienlijke doorvoer- en geheugenefficiëntiewinsten oplevert in grootschalige gedistribueerde omgevingen. De nafase training maakt gebruik van een drietraps *supervised fine-tuning*-pijplijn die achtereenvolgens algemene instructienaleving, compositioneel begrip en linguïstische precisie verbetert. Motif-2-12.7B toont competitieve prestaties in diverse benchmarks, wat aantoont dat doordachte architecturale schaling en geoptimaliseerd trainingsontwerp de capaciteiten van aanzienlijk grotere modellen kunnen evenaren.

English

We introduce Motif-2-12.7B, a new open-weight foundation model that pushes the efficiency frontier of large language models by combining architectural innovation with system-level optimization. Designed for scalable language understanding and robust instruction generalization under constrained compute budgets, Motif-2-12.7B builds upon Motif-2.6B with the integration of Grouped Differential Attention (GDA), which improves representational efficiency by disentangling signal and noise-control attention pathways. The model is pre-trained on 5.5 trillion tokens spanning diverse linguistic, mathematical, scientific, and programming domains using a curriculum-driven data scheduler that gradually changes the data composition ratio. The training system leverages the MuonClip optimizer alongside custom high-performance kernels, including fused PolyNorm activations and the Parallel Muon algorithm, yielding significant throughput and memory efficiency gains in large-scale distributed environments. Post-training employs a three-stage supervised fine-tuning pipeline that successively enhances general instruction adherence, compositional understanding, and linguistic precision. Motif-2-12.7B demonstrates competitive performance across diverse benchmarks, showing that thoughtful architectural scaling and optimized training design can rival the capabilities of much larger models.