HRM-Text: Preentrenamiento Eficiente Más Allá del Escalado

Resumen

El paradigma actual de preentrenamiento para modelos de lenguaje grandes depende de un cómputo masivo y de texto bruto a escala de internet, lo que crea una barrera significativa para la investigación fundamental. En contraste, los sistemas biológicos demuestran un aprendizaje altamente eficiente en términos de muestras mediante procesamiento en múltiples escalas temporales, como la organización funcional del bucle frontoparietal. Inspirándonos en esto, presentamos HRM-Text, que reemplaza los Transformers estándar con un Modelo Recurrente Jerárquico (HRM) que desacopla el cómputo en capas estratégicas de evolución lenta y capas de ejecución de evolución rápida. Para estabilizar esta recurrencia profunda en el modelado del lenguaje, introducimos MagicNorm y la asignación de crédito profundo con calentamiento. Además, en lugar del preentrenamiento estándar con texto bruto, entrenamos exclusivamente con pares de instrucción-respuesta utilizando un objetivo de finalización de tareas y enmascaramiento PrefixLM. Como prueba empírica de existencia de un preentrenamiento eficiente, un modelo HRM-Text de 1B de parámetros entrenado desde cero con solo 40 mil millones de tokens únicos y un presupuesto de $1,500 alcanza un 60.7% en MMLU, 81.9% en ARC-C, 82.2% en DROP, 84.5% en GSM8K y 56.2% en MATH. A pesar de utilizar aproximadamente entre 100 y 900 veces menos tokens de entrenamiento y entre 96 y 432 veces menos cómputo estimado que los modelos de referencia estándar, HRM-Text compite favorablemente con modelos abiertos de 2 a 7B de parámetros. Estos resultados demuestran que el diseño conjunto de arquitecturas y objetivos puede reducir drásticamente la relación cómputo-rendimiento, haciendo que el preentrenamiento desde cero sea accesible para la comunidad investigadora en general.

English

The current pretraining paradigm for large language models relies on massive compute and internet-scale raw text, creating a significant barrier to foundational research. In contrast, biological systems demonstrate highly sample-efficient learning through multi-timescale processing, such as the functional organization of the frontoparietal loop. Taking this as inspiration, we introduce HRM-Text, which replaces standard Transformers with a Hierarchical Recurrent Model (HRM) that decouples computation into slow-evolving strategic and fast-evolving execution layers. To stabilize this deep recurrence for language modeling, we introduce MagicNorm and warmup deep credit assignment. Furthermore, instead of standard raw-text pretraining, we train exclusively on instruction-response pairs using a task-completion objective and PrefixLM masking. Serving as an empirical existence proof of efficient pretraining, a 1B-parameter HRM-Text model trained from scratch on only 40 billion unique tokens and $1,500 budget achieves 60.7% on MMLU, 81.9% on ARC-C, 82.2% on DROP, 84.5% on GSM8K, and 56.2% on MATH. Despite utilizing roughly 100-900x fewer training tokens and 96-432x less estimated compute than standard baselines, HRM-Text performs competitively with 2-7B parameter open models. These results demonstrate that co-designing architectures and objectives can radically reduce the compute-to-performance ratio, making pretraining from scratch accessible to the broader research community.