Menos é Mais: Raciocínio Recursivo com Redes Minúsculas
Less is More: Recursive Reasoning with Tiny Networks
October 6, 2025
Autores: Alexia Jolicoeur-Martineau
cs.AI
Resumo
O Modelo de Raciocínio Hierárquico (HRM) é uma abordagem inovadora que utiliza duas pequenas redes neurais recursivas operando em diferentes frequências. Este método, inspirado biologicamente, supera os Modelos de Linguagem de Grande Escala (LLMs) em tarefas complexas como Sudoku, Labirinto e ARC-AGI, mesmo quando treinado com modelos pequenos (27 milhões de parâmetros) e com poucos dados (cerca de 1000 exemplos). O HRM mostra grande potencial para resolver problemas complexos com redes pequenas, mas ainda não é totalmente compreendido e pode não ser o ideal. Propomos o Modelo Recursivo Minúsculo (TRM), uma abordagem de raciocínio recursivo muito mais simples que alcança uma generalização significativamente maior do que o HRM, utilizando uma única rede minúscula com apenas 2 camadas. Com apenas 7 milhões de parâmetros, o TRM obtém 45% de precisão no teste ARC-AGI-1 e 8% no ARC-AGI-2, superando a maioria dos LLMs (por exemplo, Deepseek R1, o3-mini, Gemini 2.5 Pro) com menos de 0,01% dos parâmetros.
English
Hierarchical Reasoning Model (HRM) is a novel approach using two small neural
networks recursing at different frequencies. This biologically inspired method
beats Large Language models (LLMs) on hard puzzle tasks such as Sudoku, Maze,
and ARC-AGI while trained with small models (27M parameters) on small data
(around 1000 examples). HRM holds great promise for solving hard problems with
small networks, but it is not yet well understood and may be suboptimal. We
propose Tiny Recursive Model (TRM), a much simpler recursive reasoning approach
that achieves significantly higher generalization than HRM, while using a
single tiny network with only 2 layers. With only 7M parameters, TRM obtains
45% test-accuracy on ARC-AGI-1 and 8% on ARC-AGI-2, higher than most LLMs
(e.g., Deepseek R1, o3-mini, Gemini 2.5 Pro) with less than 0.01% of the
parameters.