Minder is Meer: Recursief Redeneren met Miniatuur Netwerken
Less is More: Recursive Reasoning with Tiny Networks
October 6, 2025
Auteurs: Alexia Jolicoeur-Martineau
cs.AI
Samenvatting
Het Hiërarchisch Redeneermodel (HRM) is een nieuwe aanpak die gebruikmaakt van twee kleine neurale netwerken die op verschillende frequenties recursief werken. Deze biologisch geïnspireerde methode overtreft grote taalmodelen (LLM's) bij moeilijke puzzeltaken zoals Sudoku, doolhoven en ARC-AGI, terwijl het getraind is met kleine modellen (27M parameters) op beperkte data (ongeveer 1000 voorbeelden). HRM biedt veelbelovende mogelijkheden voor het oplossen van complexe problemen met kleine netwerken, maar het is nog niet volledig begrepen en kan suboptimaal zijn. Wij stellen het Minimaal Recursief Model (TRM) voor, een veel eenvoudigere recursieve redeneeraanpak die aanzienlijk betere generalisatie bereikt dan HRM, terwijl het slechts één klein netwerk met 2 lagen gebruikt. Met slechts 7M parameters behaalt TRM een testnauwkeurigheid van 45% op ARC-AGI-1 en 8% op ARC-AGI-2, wat hoger is dan de meeste LLM's (bijv. Deepseek R1, o3-mini, Gemini 2.5 Pro) met minder dan 0,01% van de parameters.
English
Hierarchical Reasoning Model (HRM) is a novel approach using two small neural
networks recursing at different frequencies. This biologically inspired method
beats Large Language models (LLMs) on hard puzzle tasks such as Sudoku, Maze,
and ARC-AGI while trained with small models (27M parameters) on small data
(around 1000 examples). HRM holds great promise for solving hard problems with
small networks, but it is not yet well understood and may be suboptimal. We
propose Tiny Recursive Model (TRM), a much simpler recursive reasoning approach
that achieves significantly higher generalization than HRM, while using a
single tiny network with only 2 layers. With only 7M parameters, TRM obtains
45% test-accuracy on ARC-AGI-1 and 8% on ARC-AGI-2, higher than most LLMs
(e.g., Deepseek R1, o3-mini, Gemini 2.5 Pro) with less than 0.01% of the
parameters.