적은 것이 더 많다: 소형 네트워크를 활용한 재귀적 추론

초록

계층적 추론 모델(Hierarchical Reasoning Model, HRM)은 서로 다른 주파수로 재귀하는 두 개의 작은 신경망을 사용하는 새로운 접근 방식이다. 이 생물학적으로 영감을 받은 방법은 스도쿠, 미로, ARC-AGI와 같은 어려운 퍼즐 과제에서 대규모 언어 모델(Large Language Models, LLMs)을 능가하며, 작은 모델(2,700만 개의 매개변수)과 적은 데이터(약 1,000개의 예시)로 학습되었다. HRM은 작은 네트워크로 어려운 문제를 해결하는 데 큰 잠재력을 가지고 있지만, 아직 충분히 이해되지 않았으며 최적이 아닐 수 있다. 우리는 HRM보다 훨씬 더 높은 일반화 성능을 달성하는 훨씬 간단한 재귀 추론 접근 방식인 Tiny Recursive Model(TRM)을 제안한다. TRM은 단 2개의 층으로 구성된 단일 작은 네트워크를 사용하며, 700만 개의 매개변수만으로 ARC-AGI-1에서 45%, ARC-AGI-2에서 8%의 테스트 정확도를 얻는다. 이는 대부분의 LLMs(예: Deepseek R1, o3-mini, Gemini 2.5 Pro)보다 높은 성능을 보이며, 매개변수의 0.01% 미만을 사용한다.

English

Hierarchical Reasoning Model (HRM) is a novel approach using two small neural networks recursing at different frequencies. This biologically inspired method beats Large Language models (LLMs) on hard puzzle tasks such as Sudoku, Maze, and ARC-AGI while trained with small models (27M parameters) on small data (around 1000 examples). HRM holds great promise for solving hard problems with small networks, but it is not yet well understood and may be suboptimal. We propose Tiny Recursive Model (TRM), a much simpler recursive reasoning approach that achieves significantly higher generalization than HRM, while using a single tiny network with only 2 layers. With only 7M parameters, TRM obtains 45% test-accuracy on ARC-AGI-1 and 8% on ARC-AGI-2, higher than most LLMs (e.g., Deepseek R1, o3-mini, Gemini 2.5 Pro) with less than 0.01% of the parameters.

적은 것이 더 많다: 소형 네트워크를 활용한 재귀적 추론

Less is More: Recursive Reasoning with Tiny Networks

초록

Support