Modello di Ragionamento Universale

Abstract

I transformer universali (UT) sono ampiamente utilizzati per compiti di ragionamento complesso come ARC-AGI e Sudoku, ma le fonti specifiche dei loro miglioramenti prestazionali rimangono poco esplorate. In questo lavoro, analizziamo sistematicamente le varianti degli UT e dimostriamo che i miglioramenti su ARC-AGI derivano principalmente dal bias induttivo ricorrente e dalle forti componenti non lineari del Transformer, piuttosto che da elaborati design architetturali. Sulla base di questa scoperta, proponiamo il Modello di Ragionamento Universale (URM), che potenzia l'UT con convoluzioni corte e backpropagation troncata. Il nostro approccio migliora sostanzialmente le prestazioni di ragionamento, raggiungendo lo stato dell'arte del 53,8% pass@1 su ARC-AGI 1 e del 16,0% pass@1 su ARC-AGI 2. Il nostro codice è disponibile all'indirizzo https://github.com/zitian-gao/URM.

English

Universal transformers (UTs) have been widely used for complex reasoning tasks such as ARC-AGI and Sudoku, yet the specific sources of their performance gains remain underexplored. In this work, we systematically analyze UTs variants and show that improvements on ARC-AGI primarily arise from the recurrent inductive bias and strong nonlinear components of Transformer, rather than from elaborate architectural designs. Motivated by this finding, we propose the Universal Reasoning Model (URM), which enhances the UT with short convolution and truncated backpropagation. Our approach substantially improves reasoning performance, achieving state-of-the-art 53.8% pass@1 on ARC-AGI 1 and 16.0% pass@1 on ARC-AGI 2. Our code is avaliable at https://github.com/zitian-gao/URM.