万能推論モデル

要旨

ユニバーサルトランスフォーマー（UT）は、ARC-AGIや数独のような複雑な推論タスクに広く用いられているが、その性能向上の具体的な要因は未解明のままである。本研究では、UTの変種を体系的に分析し、ARC-AGIにおける改善は主に、精巧なアーキテクチャ設計ではなく、トランスフォーマーの回帰的帰納バイアスと強力な非線形成分に起因することを明らかにする。この知見に基づき、我々は短距離畳み込みと切り詰めた誤差逆伝播を組み込んだUniversal Reasoning Model（URM）を提案する。本手法は推論性能を大幅に向上させ、ARC-AGI 1では53.8% pass@1、ARC-AGI 2では16.0% pass@1というState-of-the-Artを達成した。実装コードはhttps://github.com/zitian-gao/URMで公開されている。

English

Universal transformers (UTs) have been widely used for complex reasoning tasks such as ARC-AGI and Sudoku, yet the specific sources of their performance gains remain underexplored. In this work, we systematically analyze UTs variants and show that improvements on ARC-AGI primarily arise from the recurrent inductive bias and strong nonlinear components of Transformer, rather than from elaborate architectural designs. Motivated by this finding, we propose the Universal Reasoning Model (URM), which enhances the UT with short convolution and truncated backpropagation. Our approach substantially improves reasoning performance, achieving state-of-the-art 53.8% pass@1 on ARC-AGI 1 and 16.0% pass@1 on ARC-AGI 2. Our code is avaliable at https://github.com/zitian-gao/URM.