Modèle de Raisonnement Universel

papers.abstract

Les transformateurs universels (UT) sont largement utilisés pour des tâches de raisonnement complexe comme ARC-AGI et le Sudoku, mais les sources spécifiques de leurs gains de performance restent peu explorées. Dans ce travail, nous analysons systématiquement les variantes d'UT et montrons que les améliorations sur ARC-AGI proviennent principalement du biais inductif récurrent et des fortes composantes non linéaires du Transformer, plutôt que de conceptions architecturales élaborées. Motivés par cette observation, nous proposons le Modèle de Raisonnement Universel (URM), qui améliore l'UT en y intégrant des convolutions courtes et une rétropropagation tronquée. Notre approche améliore considérablement les performances en raisonnement, atteignant un état de l'art de 53,8% pass@1 sur ARC-AGI 1 et 16,0% pass@1 sur ARC-AGI 2. Notre code est disponible à l'adresse https://github.com/zitian-gao/URM.

English

Universal transformers (UTs) have been widely used for complex reasoning tasks such as ARC-AGI and Sudoku, yet the specific sources of their performance gains remain underexplored. In this work, we systematically analyze UTs variants and show that improvements on ARC-AGI primarily arise from the recurrent inductive bias and strong nonlinear components of Transformer, rather than from elaborate architectural designs. Motivated by this finding, we propose the Universal Reasoning Model (URM), which enhances the UT with short convolution and truncated backpropagation. Our approach substantially improves reasoning performance, achieving state-of-the-art 53.8% pass@1 on ARC-AGI 1 and 16.0% pass@1 on ARC-AGI 2. Our code is avaliable at https://github.com/zitian-gao/URM.