Universeel Redeneermodel

Samenvatting

Universele transformers (UT's) worden veelvuldig ingezet voor complexe redeneertaken zoals ARC-AGI en Sudoku, maar de specifieke bronnen van hun prestatieverbeteringen blijven onderbelicht. In dit werk analyseren we systematisch varianten van UT's en tonen we aan dat verbeteringen op ARC-AGI voornamelijk voortkomen uit de recurrent inductive bias en sterke niet-lineaire componenten van de Transformer, in plaats van uit uitgekiende architecturale ontwerpen. Gemotiveerd door deze bevinding stellen we het Universal Reasoning Model (URM) voor, dat de UT versterkt met korte convolutie en afgekapte backpropagatie. Onze aanpak verbetert de redeneerprestaties aanzienlijk, met state-of-the-art resultaten van 53,8% pass@1 op ARC-AGI 1 en 16,0% pass@1 op ARC-AGI 2. Onze code is beschikbaar op https://github.com/zitian-gao/URM.

English

Universal transformers (UTs) have been widely used for complex reasoning tasks such as ARC-AGI and Sudoku, yet the specific sources of their performance gains remain underexplored. In this work, we systematically analyze UTs variants and show that improvements on ARC-AGI primarily arise from the recurrent inductive bias and strong nonlinear components of Transformer, rather than from elaborate architectural designs. Motivated by this finding, we propose the Universal Reasoning Model (URM), which enhances the UT with short convolution and truncated backpropagation. Our approach substantially improves reasoning performance, achieving state-of-the-art 53.8% pass@1 on ARC-AGI 1 and 16.0% pass@1 on ARC-AGI 2. Our code is avaliable at https://github.com/zitian-gao/URM.