Meno è più: Ragionamento ricorsivo con reti di piccole dimensioni

Less is More: Recursive Reasoning with Tiny Networks

October 6, 2025

Autori: Alexia Jolicoeur-Martineau

cs.AI

Abstract

Il Modello di Ragionamento Gerarchico (HRM) è un approccio innovativo che utilizza due piccole reti neurali ricorsive che operano a frequenze diverse. Questo metodo, ispirato alla biologia, supera i modelli linguistici di grandi dimensioni (LLM) in compiti complessi come Sudoku, Labirinti e ARC-AGI, pur essendo addestrato con modelli di piccole dimensioni (27 milioni di parametri) su dataset ridotti (circa 1000 esempi). L'HRM mostra un grande potenziale per risolvere problemi difficili con reti di piccole dimensioni, ma non è ancora ben compreso e potrebbe non essere ottimale. Proponiamo il Modello Ricorsivo Minuscolo (TRM), un approccio di ragionamento ricorsivo molto più semplice che raggiunge una generalizzazione significativamente superiore rispetto all'HRM, utilizzando una singola rete minuscola con solo 2 strati. Con soli 7 milioni di parametri, il TRM ottiene un'accuratezza del 45% su ARC-AGI-1 e dell'8% su ARC-AGI-2, superando la maggior parte degli LLM (ad esempio, Deepseek R1, o3-mini, Gemini 2.5 Pro) con meno dello 0,01% dei parametri.

English

Hierarchical Reasoning Model (HRM) is a novel approach using two small neural networks recursing at different frequencies. This biologically inspired method beats Large Language models (LLMs) on hard puzzle tasks such as Sudoku, Maze, and ARC-AGI while trained with small models (27M parameters) on small data (around 1000 examples). HRM holds great promise for solving hard problems with small networks, but it is not yet well understood and may be suboptimal. We propose Tiny Recursive Model (TRM), a much simpler recursive reasoning approach that achieves significantly higher generalization than HRM, while using a single tiny network with only 2 layers. With only 7M parameters, TRM obtains 45% test-accuracy on ARC-AGI-1 and 8% on ARC-AGI-2, higher than most LLMs (e.g., Deepseek R1, o3-mini, Gemini 2.5 Pro) with less than 0.01% of the parameters.