Universelles Modell des logischen Denkens

papers.abstract

Universal Transformer (UT) wurden bereits häufig für komplexe Reasoning-Aufgaben wie ARC-AGI und Sudoku eingesetzt, doch die spezifischen Ursachen für ihre Leistungssteigerungen sind bisher kaum erforscht. In dieser Arbeit analysieren wir systematisch UT-Varianten und zeigen, dass die Verbesserungen bei ARC-AGI hauptsächlich auf den rekurrenten Inductive Bias und die starken nichtlinearen Komponenten des Transformers zurückzuführen sind, und nicht auf aufwändige Architekturdesigns. Aufbauend auf dieser Erkenntnis schlagen wir das Universal Reasoning Model (URM) vor, das den UT durch kurze Faltungsoperationen und truncated Backpropagation erweitert. Unser Ansatz verbessert die Reasoning-Leistung erheblich und erreicht state-of-the-art Werte von 53,8 % pass@1 auf ARC-AGI 1 und 16,0 % pass@1 auf ARC-AGI 2. Unser Code ist verfügbar unter https://github.com/zitian-gao/URM.

English

Universal transformers (UTs) have been widely used for complex reasoning tasks such as ARC-AGI and Sudoku, yet the specific sources of their performance gains remain underexplored. In this work, we systematically analyze UTs variants and show that improvements on ARC-AGI primarily arise from the recurrent inductive bias and strong nonlinear components of Transformer, rather than from elaborate architectural designs. Motivated by this finding, we propose the Universal Reasoning Model (URM), which enhances the UT with short convolution and truncated backpropagation. Our approach substantially improves reasoning performance, achieving state-of-the-art 53.8% pass@1 on ARC-AGI 1 and 16.0% pass@1 on ARC-AGI 2. Our code is avaliable at https://github.com/zitian-gao/URM.