Menos es Más: Razonamiento Recursivo con Redes Pequeñas

Less is More: Recursive Reasoning with Tiny Networks

October 6, 2025

Autores: Alexia Jolicoeur-Martineau

cs.AI

Resumen

El Modelo de Razonamiento Jerárquico (HRM, por sus siglas en inglés) es un enfoque novedoso que utiliza dos pequeñas redes neuronales que operan recursivamente a diferentes frecuencias. Este método, inspirado en la biología, supera a los modelos de lenguaje de gran escala (LLMs) en tareas complejas como Sudoku, Laberintos y ARC-AGI, a pesar de estar entrenado con modelos pequeños (27 millones de parámetros) y con un conjunto de datos reducido (alrededor de 1000 ejemplos). El HRM muestra un gran potencial para resolver problemas complejos con redes pequeñas, aunque aún no se comprende completamente y podría ser subóptimo. Proponemos el Modelo Recursivo Minúsculo (TRM), un enfoque de razonamiento recursivo mucho más simple que logra una generalización significativamente mayor que el HRM, utilizando una única red diminuta de solo 2 capas. Con solo 7 millones de parámetros, el TRM alcanza un 45% de precisión en ARC-AGI-1 y un 8% en ARC-AGI-2, superando a la mayoría de los LLMs (por ejemplo, Deepseek R1, o3-mini, Gemini 2.5 Pro) con menos del 0.01% de los parámetros.

English

Hierarchical Reasoning Model (HRM) is a novel approach using two small neural networks recursing at different frequencies. This biologically inspired method beats Large Language models (LLMs) on hard puzzle tasks such as Sudoku, Maze, and ARC-AGI while trained with small models (27M parameters) on small data (around 1000 examples). HRM holds great promise for solving hard problems with small networks, but it is not yet well understood and may be suboptimal. We propose Tiny Recursive Model (TRM), a much simpler recursive reasoning approach that achieves significantly higher generalization than HRM, while using a single tiny network with only 2 layers. With only 7M parameters, TRM obtains 45% test-accuracy on ARC-AGI-1 and 8% on ARC-AGI-2, higher than most LLMs (e.g., Deepseek R1, o3-mini, Gemini 2.5 Pro) with less than 0.01% of the parameters.