少は多なり：小さなネットワークを用いた再帰的推論

要旨

階層的推論モデル（HRM）は、異なる周波数で再帰する2つの小さなニューラルネットワークを使用する新しいアプローチである。この生物学的に着想を得た手法は、数独、迷路、ARC-AGIなどの難解なパズルタスクにおいて、大規模言語モデル（LLMs）を上回る性能を示し、しかも小さなモデル（2700万パラメータ）と少量のデータ（約1000例）で訓練されている。HRMは、小さなネットワークで難解な問題を解決する可能性を大きく秘めているが、まだ十分に理解されておらず、最適ではない可能性がある。我々は、Tiny Recursive Model（TRM）を提案する。これは、HRMよりもはるかに単純な再帰的推論アプローチであり、わずか2層の極小ネットワークを使用しながら、HRMを大幅に上回る汎化性能を達成する。わずか700万パラメータで、TRMはARC-AGI-1で45%、ARC-AGI-2で8%のテスト精度を達成し、ほとんどのLLMs（例：Deepseek R1、o3-mini、Gemini 2.5 Pro）を上回り、しかもそのパラメータ数の0.01%未満で実現している。

English

Hierarchical Reasoning Model (HRM) is a novel approach using two small neural networks recursing at different frequencies. This biologically inspired method beats Large Language models (LLMs) on hard puzzle tasks such as Sudoku, Maze, and ARC-AGI while trained with small models (27M parameters) on small data (around 1000 examples). HRM holds great promise for solving hard problems with small networks, but it is not yet well understood and may be suboptimal. We propose Tiny Recursive Model (TRM), a much simpler recursive reasoning approach that achieves significantly higher generalization than HRM, while using a single tiny network with only 2 layers. With only 7M parameters, TRM obtains 45% test-accuracy on ARC-AGI-1 and 8% on ARC-AGI-2, higher than most LLMs (e.g., Deepseek R1, o3-mini, Gemini 2.5 Pro) with less than 0.01% of the parameters.

少は多なり：小さなネットワークを用いた再帰的推論

Less is More: Recursive Reasoning with Tiny Networks

要旨

Support