Moins, c'est plus : Raisonnement récursif avec des réseaux minuscules

Less is More: Recursive Reasoning with Tiny Networks

October 6, 2025

papers.authors: Alexia Jolicoeur-Martineau

cs.AI

papers.abstract

Le modèle de raisonnement hiérarchique (HRM) est une approche novatrice utilisant deux petits réseaux de neurones récursifs fonctionnant à différentes fréquences. Cette méthode inspirée de la biologie surpasse les modèles de langage de grande taille (LLMs) sur des tâches complexes telles que le Sudoku, les labyrinthes et ARC-AGI, tout en étant entraînée avec de petits modèles (27 millions de paramètres) sur de petits ensembles de données (environ 1000 exemples). Le HRM montre un grand potentiel pour résoudre des problèmes complexes avec des réseaux de petite taille, mais il n'est pas encore bien compris et pourrait être sous-optimal. Nous proposons le modèle récursif miniature (TRM), une approche de raisonnement récursif beaucoup plus simple qui atteint une généralisation significativement supérieure à celle du HRM, tout en utilisant un seul petit réseau avec seulement 2 couches. Avec seulement 7 millions de paramètres, le TRM obtient une précision de test de 45 % sur ARC-AGI-1 et de 8 % sur ARC-AGI-2, surpassant la plupart des LLMs (par exemple, Deepseek R1, o3-mini, Gemini 2.5 Pro) avec moins de 0,01 % des paramètres.

English

Hierarchical Reasoning Model (HRM) is a novel approach using two small neural networks recursing at different frequencies. This biologically inspired method beats Large Language models (LLMs) on hard puzzle tasks such as Sudoku, Maze, and ARC-AGI while trained with small models (27M parameters) on small data (around 1000 examples). HRM holds great promise for solving hard problems with small networks, but it is not yet well understood and may be suboptimal. We propose Tiny Recursive Model (TRM), a much simpler recursive reasoning approach that achieves significantly higher generalization than HRM, while using a single tiny network with only 2 layers. With only 7M parameters, TRM obtains 45% test-accuracy on ARC-AGI-1 and 8% on ARC-AGI-2, higher than most LLMs (e.g., Deepseek R1, o3-mini, Gemini 2.5 Pro) with less than 0.01% of the parameters.