Modelo de Razonamiento Universal

Resumen

Los transformadores universales (UT) han sido ampliamente utilizados para tareas de razonamiento complejo como ARC-AGI y Sudoku, aunque las fuentes específicas de sus mejoras de rendimiento permanecen poco exploradas. En este trabajo, analizamos sistemáticamente variantes de UT y demostramos que las mejoras en ARC-AGI surgen principalmente del sesgo inductivo recurrente y los fuertes componentes no lineales del Transformer, más que de diseños arquitectónicos elaborados. Motivados por este hallazgo, proponemos el Modelo de Razonamiento Universal (URM), que mejora el UT mediante convoluciones cortas y retropropagación truncada. Nuestro enfoque mejora sustancialmente el rendimiento de razonamiento, alcanzando un estado del arte del 53.8% en pass@1 en ARC-AGI 1 y 16.0% en pass@1 en ARC-AGI 2. Nuestro código está disponible en https://github.com/zitian-gao/URM.

English

Universal transformers (UTs) have been widely used for complex reasoning tasks such as ARC-AGI and Sudoku, yet the specific sources of their performance gains remain underexplored. In this work, we systematically analyze UTs variants and show that improvements on ARC-AGI primarily arise from the recurrent inductive bias and strong nonlinear components of Transformer, rather than from elaborate architectural designs. Motivated by this finding, we propose the Universal Reasoning Model (URM), which enhances the UT with short convolution and truncated backpropagation. Our approach substantially improves reasoning performance, achieving state-of-the-art 53.8% pass@1 on ARC-AGI 1 and 16.0% pass@1 on ARC-AGI 2. Our code is avaliable at https://github.com/zitian-gao/URM.