Меньше — значит больше: Рекурсивное рассуждение с использованием компактных сетей

Less is More: Recursive Reasoning with Tiny Networks

October 6, 2025

Авторы: Alexia Jolicoeur-Martineau

cs.AI

Аннотация

Иерархическая модель рассуждений (Hierarchical Reasoning Model, HRM) представляет собой новый подход, использующий две небольшие нейронные сети, работающие на разных частотах. Этот биологически вдохновленный метод превосходит крупные языковые модели (Large Language Models, LLMs) в сложных задачах, таких как судоку, лабиринты и ARC-AGI, при этом обучаясь на небольших моделях (27 миллионов параметров) и малых объемах данных (около 1000 примеров). HRM демонстрирует значительный потенциал для решения сложных задач с использованием небольших сетей, однако она еще недостаточно изучена и может быть неоптимальной. Мы предлагаем Tiny Recursive Model (TRM) — значительно более простой подход к рекурсивным рассуждениям, который достигает существенно более высокой обобщающей способности, чем HRM, используя при этом одну крошечную сеть всего с двумя слоями. С всего 7 миллионами параметров TRM достигает 45% точности на тестовых данных ARC-AGI-1 и 8% на ARC-AGI-2, что выше, чем у большинства LLM (например, Deepseek R1, o3-mini, Gemini 2.5 Pro), при использовании менее 0,01% параметров.

English

Hierarchical Reasoning Model (HRM) is a novel approach using two small neural networks recursing at different frequencies. This biologically inspired method beats Large Language models (LLMs) on hard puzzle tasks such as Sudoku, Maze, and ARC-AGI while trained with small models (27M parameters) on small data (around 1000 examples). HRM holds great promise for solving hard problems with small networks, but it is not yet well understood and may be suboptimal. We propose Tiny Recursive Model (TRM), a much simpler recursive reasoning approach that achieves significantly higher generalization than HRM, while using a single tiny network with only 2 layers. With only 7M parameters, TRM obtains 45% test-accuracy on ARC-AGI-1 and 8% on ARC-AGI-2, higher than most LLMs (e.g., Deepseek R1, o3-mini, Gemini 2.5 Pro) with less than 0.01% of the parameters.