HRM-Text: Efficiënte pretraining voorbij opschaling

Samenvatting

Het huidige pretrainingparadigma voor grote taalmodellen is afhankelijk van enorme rekenkracht en internetschaal ruwe tekst, wat een aanzienlijke barrière vormt voor fundamenteel onderzoek. Biologische systemen daarentegen vertonen een zeer steekproefficiënt leren door verwerking op meerdere tijdschalen, zoals de functionele organisatie van de frontopariëtale lus. Dit als inspiratie nemend, introduceren we HRM-Text, dat standaard Transformers vervangt door een Hiërarchisch Recurrent Model (HRM) dat berekening ontkoppelt in traag evoluerende strategische lagen en snel evoluerende uitvoeringslagen. Om deze diepe recurrentie te stabiliseren voor taalmodellering introduceren we MagicNorm en een opwarmfase voor diepe credit assignment. Verder trainen we, in plaats van standaard pretraining op ruwe tekst, uitsluitend op instructie-responsparen met een taakvoltooiingsdoelstelling en PrefixLM-maskering. Als empirisch bewijs van bestaan van efficiënte pretraining behaalt een HRM-Text-model met 1 miljard parameters, getraind vanaf nul op slechts 40 miljard unieke tokens en een budget van $1.500, 60,7% op MMLU, 81,9% op ARC-C, 82,2% op DROP, 84,5% op GSM8K en 56,2% op MATH. Ondanks dat het ongeveer 100-900 keer minder trainings-tokens en naar schatting 96-432 keer minder rekenkracht gebruikt dan standaardbaselines, presteert HRM-Text concurrerend met open modellen van 2-7 miljard parameters. Deze resultaten tonen aan dat het co-ontwerpen van architecturen en doelstellingen de verhouding tussen rekenkracht en prestatie drastisch kan verkleinen, waardoor trainen vanaf nul toegankelijk wordt voor de bredere onderzoeksgemeenschap.

English

The current pretraining paradigm for large language models relies on massive compute and internet-scale raw text, creating a significant barrier to foundational research. In contrast, biological systems demonstrate highly sample-efficient learning through multi-timescale processing, such as the functional organization of the frontoparietal loop. Taking this as inspiration, we introduce HRM-Text, which replaces standard Transformers with a Hierarchical Recurrent Model (HRM) that decouples computation into slow-evolving strategic and fast-evolving execution layers. To stabilize this deep recurrence for language modeling, we introduce MagicNorm and warmup deep credit assignment. Furthermore, instead of standard raw-text pretraining, we train exclusively on instruction-response pairs using a task-completion objective and PrefixLM masking. Serving as an empirical existence proof of efficient pretraining, a 1B-parameter HRM-Text model trained from scratch on only 40 billion unique tokens and $1,500 budget achieves 60.7% on MMLU, 81.9% on ARC-C, 82.2% on DROP, 84.5% on GSM8K, and 56.2% on MATH. Despite utilizing roughly 100-900x fewer training tokens and 96-432x less estimated compute than standard baselines, HRM-Text performs competitively with 2-7B parameter open models. These results demonstrate that co-designing architectures and objectives can radically reduce the compute-to-performance ratio, making pretraining from scratch accessible to the broader research community.