HRM-Text: Effizientes Vortraining jenseits von Skalierung

Zusammenfassung

Das aktuelle Vortrainingsparadigma für große Sprachmodelle beruht auf massiver Rechenleistung und internetumfassenden Rohdaten, was eine erhebliche Hürde für die Grundlagenforschung darstellt. Im Gegensatz dazu zeigen biologische Systeme hochgradig sample-effizientes Lernen durch mehrskalige Verarbeitung, wie etwa die funktionale Organisation der frontoparietalen Schleife. Von dieser Inspiration ausgehend führen wir HRM-Text ein, das standardmäßige Transformer durch ein Hierarchisches Rekurrentes Modell (HRM) ersetzt, das die Berechnung in sich langsam entwickelnde strategische und schnell entwickelnde ausführende Schichten entkoppelt. Um diese tiefe Rekurrenz für die Sprachmodellierung zu stabilisieren, führen wir MagicNorm und eine Aufwärmphase für die tiefe Kreditzuweisung ein. Anstelle des standardmäßigen Vortrainings mit Rohdaten trainieren wir ausschließlich auf Instruktion-Antwort-Paaren unter Verwendung eines Aufgabenerfüllungsziels und PrefixLM-Maskierung. Als empirischer Existenzbeweis für effizientes Vortraining erreicht ein 1B-Parameter HRM-Text-Modell, das von Grund auf mit nur 40 Milliarden einzigartigen Token und einem Budget von 1.500 $ trainiert wurde, 60,7 % bei MMLU, 81,9 % bei ARC-C, 82,2 % bei DROP, 84,5 % bei GSM8K und 56,2 % bei MATH. Trotz der Verwendung von etwa 100- bis 900-fach weniger Trainingstoken und 96- bis 432-fach weniger geschätzter Rechenleistung im Vergleich zu Standardbaselines schneidet HRM-Text wettbewerbsfähig mit offenen 2- bis 7B-Parameter-Modellen ab. Diese Ergebnisse zeigen, dass das gemeinsame Entwerfen von Architekturen und Zielsetzungen das Verhältnis von Rechenleistung zu Leistung radikal reduzieren kann, wodurch das Vortraining von Grund auf für die breitere Forschungsgemeinschaft zugänglich wird.

English

The current pretraining paradigm for large language models relies on massive compute and internet-scale raw text, creating a significant barrier to foundational research. In contrast, biological systems demonstrate highly sample-efficient learning through multi-timescale processing, such as the functional organization of the frontoparietal loop. Taking this as inspiration, we introduce HRM-Text, which replaces standard Transformers with a Hierarchical Recurrent Model (HRM) that decouples computation into slow-evolving strategic and fast-evolving execution layers. To stabilize this deep recurrence for language modeling, we introduce MagicNorm and warmup deep credit assignment. Furthermore, instead of standard raw-text pretraining, we train exclusively on instruction-response pairs using a task-completion objective and PrefixLM masking. Serving as an empirical existence proof of efficient pretraining, a 1B-parameter HRM-Text model trained from scratch on only 40 billion unique tokens and $1,500 budget achieves 60.7% on MMLU, 81.9% on ARC-C, 82.2% on DROP, 84.5% on GSM8K, and 56.2% on MATH. Despite utilizing roughly 100-900x fewer training tokens and 96-432x less estimated compute than standard baselines, HRM-Text performs competitively with 2-7B parameter open models. These results demonstrate that co-designing architectures and objectives can radically reduce the compute-to-performance ratio, making pretraining from scratch accessible to the broader research community.