Weniger ist mehr: Rekursives Denken mit kleinen Netzwerken

Less is More: Recursive Reasoning with Tiny Networks

October 6, 2025

papers.authors: Alexia Jolicoeur-Martineau

cs.AI

papers.abstract

Das Hierarchical Reasoning Model (HRM) ist ein neuartiger Ansatz, der zwei kleine neuronale Netzwerke verwendet, die mit unterschiedlichen Frequenzen rekursiv arbeiten. Diese biologisch inspirierte Methode übertrifft Large Language Models (LLMs) bei schwierigen Puzzle-Aufgaben wie Sudoku, Labyrinthen und ARC-AGI, obwohl sie mit kleinen Modellen (27M Parametern) und geringen Datenmengen (rund 1000 Beispiele) trainiert wird. HRM zeigt großes Potenzial für die Lösung komplexer Probleme mit kleinen Netzwerken, ist jedoch noch nicht vollständig verstanden und könnte suboptimal sein. Wir schlagen das Tiny Recursive Model (TRM) vor, einen deutlich einfacheren rekursiven Ansatz, der eine wesentlich bessere Generalisierung als HRM erreicht, während es ein einziges kleines Netzwerk mit nur 2 Schichten verwendet. Mit lediglich 7M Parametern erzielt TRM eine Testgenauigkeit von 45 % auf ARC-AGI-1 und 8 % auf ARC-AGI-2, was höher ist als die meisten LLMs (z. B. Deepseek R1, o3-mini, Gemini 2.5 Pro) mit weniger als 0,01 % der Parameter.

English

Hierarchical Reasoning Model (HRM) is a novel approach using two small neural networks recursing at different frequencies. This biologically inspired method beats Large Language models (LLMs) on hard puzzle tasks such as Sudoku, Maze, and ARC-AGI while trained with small models (27M parameters) on small data (around 1000 examples). HRM holds great promise for solving hard problems with small networks, but it is not yet well understood and may be suboptimal. We propose Tiny Recursive Model (TRM), a much simpler recursive reasoning approach that achieves significantly higher generalization than HRM, while using a single tiny network with only 2 layers. With only 7M parameters, TRM obtains 45% test-accuracy on ARC-AGI-1 and 8% on ARC-AGI-2, higher than most LLMs (e.g., Deepseek R1, o3-mini, Gemini 2.5 Pro) with less than 0.01% of the parameters.